robots.txt ป้องกันคู่แข่ง spy landing page

robots.txt ป้องกันคู่แข่ง spy landing page

0 1395

สำหรับ landing page ที่ผมส่งมาจาก paid traffic ผมจะทำการ block bot ไม่ให้ index ตาม code ด้านล่าง

อนุญาติให้ index ทุกอย่าง

User-agent: *
Disallow:

ไม่อนุญาติให้ index ทุกอย่าง
User-agent: *
Disallow: /
ไม่อนุญาติให้ index ทุกอย่างบาง folder
User-agent: *
Disallow: /folder/
ไม่อนุญาติให้ Goooglebit index folder ยกเว้น 1 ไฟล์ใน folder นั้น
User-agent: Googlebot
Disallow: /folder1/
Allow: /folder1/myfile.html