Google Webmaster Araçları 2

Bu yazıda GOOGLE tarafından geliştiricilere sunulan bir önemli araçtan daha bahsedeceğiz. Bazı durumlarda tarama motorları tarafından bazı URL'lerin indexlenmemesi istenebilir. Bu durumda kullanılabilecek çeşitli yöntemler vardır. Bunlar şunlardır:

1. Robots.txt kullanmak
2. Meta Etiket kullanmak
3. Ulaşılmasını istemediğiniz kaynağı şifreli dizine koymak
4. Webmaster araçlarını kullanmak.

Burada robots.txt ile meta etiketlerin çalışma mantığı birbirleriyle aynıdır. Bunlar dönüşlü fonksiyonlardır. Robots.txt dosyasını daha önce yazdığım için şimdi meta etiketlerden örnek vereyim:

Eğer tüm robotların kaynağı indexlemeleri engellenmek istiyorsa şu meta etiket kullanılmalıdır:

<meta name="robots" content="noindex">

Eğer sadece googlebot'un kaynağı indexlemesi engellenmek isteniyorsa şu etiket kullanılmalıdır:

<meta name="googlebot" content="noindex">

3. yöntemde dizine şifre koymak sadece robotları değil diğer site kullanıcılarını da etkileyecektir. Bu sebeple ihtiyaca göre tercih edilmelidir.

4. yöntem google tarafından sunulan webmaster araçlarını kullanmaktır. Aşağıda gösterildiği gibi webmaster menüsünden "URL'leri Kaldır" sayfasına giriş yapınız. Aşağıdaki sayfaya giriş yaptıktan sonra geçici olarak gizle tuşuna basıp engellemek istediğiniz URL'yi giriniz.

Google Webmaster Araçları 1

Google, geliştiricilerin web sitelerini idexleyebilmesi, kullanılan robots.txt gibi dosyaların testlerini yapabilmeleri ve vb. işlemler için webmaster araçlarını oluşturmuştur. İçinde bir çok araç bulunan bu platform içindeki en önde gelen iki araçtan biri olan robots.txt dosyasının testi aşağıda gösterilmiştir.
Örnekte URL olarak blog sitesinin bir adresi gönderilmiş ve erişime izin verildiği anlaşılmıştır. Ayrıca sağ alt tarafta yer alan "Gönder" tuşu kullanılarak Google robots.txt dosyasının değiştiği konusunda haberdar edilebilir ve yeniden okuması istenebilir.





Aşağıdaki örnekte blog sitemize ait sitemaplar Google tarafından blog içeriğininin indexlenmesinin sağlanması amacıyla Google'la bildirilmektedir. Sitemap gönderildikten sonra bir hata olmadıysa sitemap grafik altında yer alan listede listelenecektir. Belli bir süre geçtikten sonra sitemap içinde yer alan ve sıkıntısız olan kaynaklar indexlenecektir.

Blogspot (Blogger) Robot.txt ve Özel Robot Etiket Ayarları - Blogspot (Blogger) Robot.txt and Special Robot Label Configuration

Arama motorlarının blog sitenizi daha içi algılayabilmesi için yani Search Engine Optimization (SEO) için blogger Robot.txt dosyasının ve özel robot etiket ayarlarının değiştirilmesine olanak vermektedir. Blogger sitenizden Şekil 1'de gösterildiği gibi Ayarlar > Arama tercihleri kısmını kullanarak ilgili ayarların bulunduğu yeri açınız.

Şekil 1. Blogger Arama Tercihleri

Daha sonra  Robot.txt ayarlarının yapabilmek için etkinleştiri veya düzenleyi seçiniz. Şekil 2'de görüldüğü gibi ilgili yazı alanına aşağıdaki kodları yapıştırıp kaydediniz. BlogName kısmına kendi blog adınızı yazınız. Sitemap yerine kırmızı olanı da kullanabilirsiniz.

Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://BlogName.blogspot.com/sitemap.xml
Sitemap:http://BlogName.blogspot.com/feeds/posts/default?orderby=updated
Sitemap:http://BlogName.blogspot.com.tr/atom.xml?redirect=false&start-index=1&max-results=500

Şekil 2. Robot.txt Ayarları

Son olarak özel robot etiket ayarları kısmını etkinleştir veya düzenle deyip ilgili kısımları Şekil 3'de görüldüğü gibi seçip kaydediniz. Burada yaptığımız ayarlara göre anasayfa, diğer sayfalar ve yayınlar tamamen indexlenecektir. DMOZ dizinine kayıt olmuş sitelerin, dizine kayıt olurken kullandıkları açıklamaların arama sonuçlarında gözükmemesi isteniyorsa "noodp" seçeneği seçilir.

Şekil 3. Özel Robot Etiket Ayarları

Robot.txt Ayarları - Robot.txt Configuration

Robot.txt dosyası burada da anlatıldığı gibi içeriklere ulaşılıp ulaşılmayacağının tanımlandığı text dosyasıdır. Genellikle google robotlarının veya tarayıcısının gereksiz tarama yaparak site bütçenize zarar vermesini veya sitenizi gereksiz yere meşgul etmesini engellemek için kullanılır. İçeriği aşağıdaki ögelerden oluşmaktadır:

User-agent: [Kuralları uygulayacak robotun adı]

Disallow: [Bloklanmak istenen URL yolu]

Allow: [Bloklu bir URL yolu içindeki yer alan ve bloklanması istenmeyen alt URL yolu]

Eğer kuralların tüm robotlar için geçerli olması isteniyorsa User-agent: * kullanılır.

Engelleme tanımlarının örnek kullanımları şu şekildedir [1]:

Engelle...	Örnek
Sitenin tamamı; düz eğik çizgi ile (/):	Disallow: /
Bir dizin ve içeriği; dizin adından sonra düz eğik çizgi ekleyerek:	Disallow: /sample-directory/
Bir web sayfası; eğik çizgiden sonra sayfayı listeleyerek:	Disallow: /private_file.html

[1] İnternet, "https://support.google.com/webmasters/answer/6062596?hl=tr&ref_topic=6061961", 2016