Robots Meta Etiketleri

____________________________________________________________________

Neredeyse tüm arama motorları İnternet’teki siteleri dolaşan ve  arama motorunun indeksine eklenmesini sağlayan bot denen örümcek yazılımlarına sahiptir. Bu yazılımlar sayfalardaki etiketleri inceleyerek sayfa hakkındaki bilgiyi alıp işleyerek ona göre sayfayı indekslerine eklemek veya eklememek gibi çeşitli kararlar alırlar. Robots meta etiketleri bu botların sayfaları dolaşırken sayfalarda ne yapması veya yapmaması gerektiği ile ilgili bilgilerin bulunduğu ve sayfaların başlık kısmında bulunan etiketlerdir.Genel bir robots etiketi şöyledir:

<meta name=”robots” content=”arama motoru ile ilgili komut”>

Bu etiketler neredeyse tüm arama motoru botları tarafından okunur ve kurallarına uyulur. Bu etiketle ilgili yaygın komutlar index, follow, noindex, nofollow, ve noarchive’dir. Gerektiğinde iki komut aynı etiket içinde kullanılabilir:

<meta name=”robots” content=”noindex,nofollow”>
Şimdi gelin bu etiketleri biraz inceleyelim:

<meta name=”robots” content=”index”>

Bu komut en çok kullanılan ve en gereksiz yere kullanılan komutlardan biridir. Bu komut arama motoru botuna bu sayfayı indeksine eklemesini söyler. Ancak tüm arama motoru botlarının görevi zaten sayfaları indekslerine eklemek olduğu için bu komutu kullanmaya  gerek yoktur. Yani siz bu komutu kullandınız diye hiç bir bot size bir ayrıcalık göstermeyecektir.

<meta name=”robots” content=”follow”>
Follow komutu da en çok kullanılan halbuki kullanılmasına gerek olmayan diğer bir komuttur. Bu komut arama motoru botlarına sayfadaki linkleri takip edin ve gösterdikleri yerlere gidin der. Tabi botlar standart olarak bunu zaten yaptıkları için bu komutu kullanmaya da gerek yoktur.

<meta name=”robots” content=”noindex”>
Noindex komutu boşu boşuna kullanılmayan komutlardan biridir. Bu komut botlara bulundukları sayfayı indekslerine eklememelerini söyler. Bu durumda botlar sayfayı indekslerine eklemeden sadece sayfa üzerindeki linkleri takip eder giderler(Yani sayfadaki linkleri takip etmeye devam ederler). Bu etiketi sitenizde arama sonuçlarında görünmesini istemediğiniz sayfaları belirtmek için kullanabilirsizin. Bunlar çeşitli özel bilgiler olan sayfalar veya bağlantısında ? vs. bulunan indekse eklenmesinde ve sonrasında ulaşılmasında sorun çıkarabilecek dinamik sayfalar olabilirler. Bu komutu kullanırsanız bu dinamik sayfaya karşılık bir de noindex komutunun bulunmadığı statik bir sayfa hazırlarsanız botlar sizi aynısından iki sayfaya sahip olduğunuz için cezalandırmayacak statik olanı indekslerine ekleyeceklerdir.

Bu komut doğru kullanılmadığında sitenizin çoğu arama motoru tarafından cezalandırılmasına sebep olabilir. Örneğin; ziyaretçilerinizin görmesini istemediğiniz, sadece arama robotları için hazırlanmış link tarlası türü bir sayfanızda bu komutu kullanırsanız, cezanız çok kötü olabilir.

<meta name=”robots” content=”nofollow”>

Bu komut botlara sayfayı indekslerine ekleyebileceklerini fakat üzerindeki linkleri takip etmemelerini, onlar için yolun bittiğini söyler. Bu sayfayı link takası yaptığınız arkadaşlarınızın linklerinin takip edilmesini ve PageRank değerinizden onların da pay almasını istemiyorsanız kullanabilirsiniz. Tüm linkleri bir sayfaya koyar ve bu sayfanın robots meta etiketinde de nofollow komutunu kullanırısnız. Böylece arkadaşlarınızın size verdiği linkler sizin PageRank değerinizi yükseltirken sizin linklerinizin onlara bir faydası olmaz. Tabi bunun da adil bir davranış olmadığını aklınızda tutmanızda yarar var. Bir arkadaşınız bunu öğrenirse sahip olduğunuz sitenize yönelik tüm linkleri kaybedebilirsiniz.

<meta name=”robots” content=”noindex,nofollow”>

Bu ikiliyi kullanırsanız botlar bu sayfayı ne indekslerine ekleyecek ne de üzerindeki linkleri takip edecektir. Bunu sitenizde yasal olarak kopya içerik bulunan sayfalarda kullanabilirsiniz. Sayfalarınızın birinde bu komutları kullanır, diğerinde kullanmazsınız, böylece botlar sayfalardan sizin istediğinizi indekslerine ekler ve diğerini bırakırlar ve de sizi de kopya içerik için cezalandırmazlar.

<meta name=”robots” content=”noarchive”>

Google, Yahoo ve Türk işi Asaha gibi birçok arama robotu sayfanın bir önbellek görüntüsünü de arama sonuçları sayfalarında sayfa linkinin yanında gösteriyor. Bunun faydası sitenize bir problem nedeniyle ulaşılamadığında kullanıcıların sitenizin içeriğine ulaşabilmesi. Eğer sitenizin bu şekilde önbellek görüntüsünün sonuçlarda görünmesini istemiyorsanız bu komutu kullanabilirsiniz.

Bu komutu örneğin ticari sitenizde işlerin durgun olduğu dönemlerde yaptığınız indirimli satışlarla ilgili sayfalarda kullanabilirsiniz. Böylece işleriniz düzeldiğinde müşteriler önbellekten geçmişteki satış fiyatını öğrenip sizden ürünü kendilerine de o fiyata satmanızı isteyemeyecekler.

Yukarıdaki komutlar en yaygın kullanılan bazı komutlar. Çoğu arama motoru botları bu komutlara dikkat ederken, hala bunlara dikkat etmeyenleri de var. Ancak bu sayfadakiler genellikle en çok kullanılan, en yaygın komutlar olduğu için işinize yarayacaktır.