Robot.txt Ayarları - Robot.txt Configuration

Robot.txt dosyası burada da anlatıldığı gibi içeriklere ulaşılıp ulaşılmayacağının tanımlandığı text dosyasıdır. Genellikle google robotlarının veya tarayıcısının gereksiz tarama yaparak site bütçenize zarar vermesini veya sitenizi gereksiz yere meşgul etmesini engellemek için kullanılır. İçeriği aşağıdaki ögelerden oluşmaktadır:

User-agent: [Kuralları uygulayacak robotun adı]

Disallow: [Bloklanmak istenen URL yolu]

Allow: [Bloklu bir URL yolu içindeki yer alan ve bloklanması istenmeyen alt URL yolu]

Eğer kuralların tüm robotlar için geçerli olması isteniyorsa User-agent: * kullanılır.

Engelleme tanımlarının örnek kullanımları şu şekildedir [1]:

Engelle...	Örnek
Sitenin tamamı; düz eğik çizgi ile (/):	Disallow: /
Bir dizin ve içeriği; dizin adından sonra düz eğik çizgi ekleyerek:	Disallow: /sample-directory/
Bir web sayfası; eğik çizgiden sonra sayfayı listeleyerek:	Disallow: /private_file.html

[1] İnternet, "https://support.google.com/webmasters/answer/6062596?hl=tr&ref_topic=6061961", 2016