Robots Meta Etiketi ve
X-Robots-Tag Nedir?
Sitenizdeki bazı içeriklerin arama motoru tarafından dizine eklenmesine gerek yoktur. Bu tip sayfaların dizine eklenmesini önlemek için robots meta etiketi veya x-robots-tag etiketini kullanabiliriz.
Ancak robots.txt dosyası ve robots meta etiketlerinin yanlış kullanılması sıkça görülen bir durumdur. Bir sayfanın dizine eklenmesini önlemek dağınık veya çelişkili yönergelere neden olabilir.
Biz de DigitalistWay olarak bu yazımızda web sitenizin içeriğinin dizine eklenmesini kontrol etmek için robots meta etiketlerini ve x-robots-tag’i nasıl kullanılacağını anlamanıza ve yaygın olarak yapılan hataları tespit etmenize yardımcı olmaya çalışacağız.
İçindekiler
Robots Meta Etiketleri Nelerdir?
Robots tagleri (etiket) olarak da bilinen Robots meta etiketi, bir web sayfasının <head></head> bölümüne yerleştirilen bir HTML kod parçasıdır. Arama motorlarıın URL’yi nasıl taradığını ve dizine eklediğini kontrol etmek için kullanılır.
Bir sayfanın kaynak kodunda robots meta etiketi şu şekilde görünür:
Bu etiketler her bir sayfaya özeldir. Arama motorlarına sayfayı nasıl değerlendirmeyi istediğinizi ve sayfanın dizine eklenip eklenmemesi konusunda bilgi vermenizi sağlar.
Robots Meta Etiketleri Neden Kullanılır?
Google’ın sayfanızın içeriğini hangi talimatlar çerçevesinde dizine eklediğini kontrol etmek için Robots meta etiketleri kullanılır.
-Arama sonuçlarına bir sayfanın dahil edilip edilmeyeceği
-Bir sayfadaki bağlantıların takip edilip edilmeyeceği (dizine eklenmesi engellenmiş olsa bile)
-Bir sayfadaki resimleri indekslememe istekleri
-SERP’lerde web sayfasının önbelleğe alınmış sonuçlarının gösterilmemesi talepleri
-SERP’lerde sayfa için bir snippet (meta açıklaması) göstermeme istekleri
Robots meta etiketini kullanmayı öğrenmek için etiketin, farklı niteliklerini ve yönergelerini görmemiz gerekiyor. Bununla beraber arama motorlarından sayfanızı, talimatlarınıza göre, dizine eklemesini istemek için sayfanızın “header” bölümüne koyacağınız kod örneklerini de göreceğiz.
Robots Meta Etiketlerinin Nitelikleri ve Yönergeleri
Robots meta etiketlerini kullanmak için iki özelliğin ayarlanması gerekir. Endişelenmeyin hiç zor değil. name (isim) ve content (içerik). Bu özelliklerin her ikisi de gereklidir. Bu sebeple her biri için bir değer gerekir.
Bu özelliklere biraz daha detaylı bakalım.
Name (isim)
Tarayıcıların ve botların (user-agents yada UA olarak da bilinir) robots meta etiketinde yer alan talimatları yerine getirmesi için gereken seslenme biçimimizdir.
Bütün tarayıcılara talimatları izlemelerini söylemek için name=”robots” kullanırız.
Genelde bu parçacığı varsayılan olarak kullanırız. Bazen farklı tarayıcılara talimatlar vermek için farklı meta robots etiketi de kullanabiliriz. (Biraz karışık gibi görünsede yazının ilerleyen bölümlerinde durumu daha iyi anlayacağınızdan hiç şüpheniz olmasın.)
Farklı tarayıcılara talimat verirken, yalnızca birden çok etiket kullanma durumu söz konusudur:
Yüzlerce farklı “user-agent” vardır. En yaygın olanları:
-Google : Googlebot (Google tarayıcılarının tam listesini burada görebilirsiniz )
-Bing : Bingbot (Bing tarayıcılarının tam listesini burada görebilirsiniz )
-Baidu : Baiduspider
-Yandex : YandexBot
Content (içerik)
Content niteliği, belirtilen tarayıcı veya botlara talimatları vermek için kullandığınız bölümdür. Bir web sayfasında meta robots etiketi belirtmezseniz, varsayılanın sayfayı dizine eklemek ve tüm bağlantıları takip etmek olduğunu bilmelisiniz. (satır içinde belirtilen bir rel=”nofollow” komutu yoksa).
Kullanabileceğiniz farklı yönergeler şunları içerir:
-index: Sayfayı dizine dahil et. (noindex belirtilmemişse bunu eklemenize gerek yoktur, index olarak kabul edilir)
-noindex: Sayfayı dizine dahil etmeyin veya SERP’lerde göstermeyin.
-follow: Diğer sayfaları keşfetmek için sayfadaki bağlantıları takip edin.
-nofollow: Sayfadaki bağlantıları takip etmeyin.
-none: Noindex, nofollow belirtmek için bir kısayol.
-all: Dizini belirtmek için bir kısayol, takip edin
-noimageindex: Sayfadaki resimleri indekslemeyin
-noarchive: SERP’lerde sayfanın önbelleğe alınmış bir sürümünü gösterme.
-nositelinkssearchbox: SERP’lerde siteniz için bir arama kutusu göstermeyin
-nopagereadaloud: Ses servislerinin sayfanızı yüksek sesle okumasına izin vermeyin
-notranslate: SERP’lerde sayfanın çevirilerini gösterme
-unavailable_after: Sayfanın dizine eklenmeyeceği bir süre belirtin.
Google’ın desteklediği yönergelerin tam listesini burada ve Bing’in desteklediği yönergeleri burada görebilirsiniz .
Meta Robots Etiket Kodu Örnekleri
Arama motorlarının web sayfalarınızı hangi yönergelere göre taradığını ve dizine eklediğini kontrol etmek için kullanabileceğiniz yaygın meta robots etiketi örneklerini inceleyelim:
Sayfayı dizine ekleme, ancak diğer sayfalara giden bağlantıları izle:
Sayfayı dizine ekleme ve diğer sayfalara verilen bağlantıları takip etme:
Sayfayı dizine ekle fakat diğer sayfalara giden bağlantıları takip etme:
SERP’lerde sayfa önbelleğinin bir kopyasını gösterme:
Bir sayfadaki resimleri dizine ekleme:
Gerekirse, yönergeleri virgülle ayırarak tek bir etikette birleştirebilirsiniz.
Örnek olarak, bir sayfadaki bağlantıların hiç birinin takip edilmesini istemediğinizi ve ayrıca resimlerin dizine eklenmesini engellemek istediğinizi varsayalım.
Snippet’ları Kontrol Etmek İçin Meta Robots Etiketlerini Kullanma
Meta robots etiketleri daha çok bir sayfanın dizine eklenip eklenmediğini ve o sayfadaki bağlantıların arama motorları tarafından taranıp taranmadığını kontrol etmek için kullanılırken, SERP’lerdeki snippet’leri kontrol etmek için de kullanılabilir.
Google, eylül 2019’da yayınlanan web yöneticilerinin, sayfaları için gösterilen ön izleme içeriğinin daha ayrıntılı yapılandırılmasına izin veren bir dizi yöntem, kullanabileceklerini yazdı.
Bunlar aşağıdaki gibi meta robots etiketleri biçiminde oluşur:
-nosnippet: SERP’lerde sayfa için bir snippet/meta açıklama gösterme.
-max-snippet:[sayı] Bir pasajın maksimum metin uzunluğunu karakter olarak belirtme.
-max-video-preview:[sayı] Bir video ön izlemesinin maksimum süresini saniye olarak belirtme
-max-image-preview:[ayar] Bir resim ön izlemesinin maksimum boyutunu “yok”, “standart” veya “büyük” olarak belirtme
Web sayfanızın snippet’lerinin nasıl görüntüleneceğini kontrol etmek için aşağıdaki kodu kullanın:
SERP’lerde bir sayfanın snippet’lerini gösterme:
Bir metin snippet’ının maksimum uzunluğunu 150 karaktere ayarlayın:
Bir video ön izlemesinin maksimum süresini 30 saniyeye ayarlayın:
Bir görüntü ön izlemesinin maksimum boyutunu büyük olarak ayarlayın:
Bunlar, sayfanızın snippet’leri üzerinde daha fazla kontrol sağlamak için birleştirilebilir. Snippet’inizin maksimum uzunluğunu 150 karaktere ayarlamak ve büyük resim ön izlemelerine izin vermek istediğinizi varsayalım.
Şu şekilde oluşturulur:
Avrupa ülkelerinde bir hedef kitleniz varsa, AB telif hakkı yasası, siz bunları kullanmayı seçmediğiniz sürece Google’ın web siteniz için herhangi bir snippet göstermesini engellediğinden, bu etiketlere çok dikkat etmeniz gerekir.
Snippet’lerinize herhangi bir kısıtlama getirmek istemiyorsanız, aşağıdaki site genelini “header” bölümüne ekleyebilirsiniz:
X-Robots Etiketi Nedir?
Arama motorlarının web sayfasını nasıl taradığını ve dizine eklediğini kontrol etmenin başka bir yolu da x-robots etiketleridir.
Meta robots etiketlerini HTML sayfalarına uygulamak daha kolay olsa da x-robots etiketleri biraz karmaşıktır. Örneğin, HTML olmayan bir PDF’nin nasıl işlendiğini kontrol etmek istiyorsanız, x-robots etiketini kullanmalısınız.
Bu, bir HTML etiketi yerine bir HTTP başlık yanıtıdır ve meta robots etiketi olarak kullanılabilen herhangi bir yönerge, aynı zamanda bir x-robots etiketi olarak da kullanılabilir.
İşte bir “x-robots-tag header” yönergesinin nasıl göründüğüne dair bir örnek:
x-robots etiketini kullanmak için sitenizin web sitesinin “header” bölümüne “.php, .htaccess” veya sunucu yapılandırma dosyasına erişebilmeniz gerekir. Buna erişiminiz yoksa, tarayıcılara talimat vermek için meta robots etiketlerini kullanmanız gerekecektir.
X-Robots Etiketi Ne Zaman Kullanılır?
X-robots etiketini kullanmak, meta robots etiketlerini kullanmak kadar kolay olmasa da arama motorlarını, diğer dosya türlerini hangi yönergelere göre ideksleyeceklerini ve tarayacaklarını kontrol etmenize olanak tanır.
x-robots-tag’i şu durumlarda kullanabilirsiniz:
-Arama motorlarının HTML olmayan dosya türlerini nasıl taradığını ve indekslediğini kontrol etmeniz gerektiği zaman.
-Yönergelerinizi sayfa için değil, site genelinde gerçekleştirmek istediğiniz zaman.
Robots Meta Etiketleri ve X-Robots Etiketleri Nasıl Kurulur?
Arama motorlarının sitenizi hangi yönergelere göre tarayıp dizine eklediğini kontrol etmek için her iki yöntemin uygulanması, CMS’nize ve/veya sunucu türünüze bağlı olarak farklılık gösterebilir.
Yaygın kurulumlarda meta robots etiketlerini ve x-robots etiketini şu şekilde kullanabilirsiniz:
HTML Kodunda Meta Robots Etiketlerini Kullanma
Sayfanızın HTML kodunu düzenleyebiliyorsanız, robots meta etiketlerinizi doğrudan sayfanın <head> bölümüne eklemeniz yeterlidir.
Arama motorlarının sayfayı dizine eklememesini, ancak bağlantıların takip edilmesini istiyorsanız, bu kodu kullanabilirsiniz:
WordPress’de Robots Meta Etiketlerini Kullanma
Yoast SEO kullanıyorsanız, sayfa düzenleyicinin altındaki blokta “gelişmiş” sekmesini açın.
“Arama motorlarının bu sayfayı arama sonuçlarında göstermesine izin verilsin mi?” ayarını yaparak “noindex” yönergesini ayarlayabilirsiniz. Hemen alt bölümde “Arama motorları bu sayfadaki bağlantıları izlemeli mi?” Sorusuna Evet-Hayır seçeneklerinden birini seçebilirsiniz.
Tabii ki bağlantılar, sitenizi ve yapısını anlamalarına da yardımcı olur. Bu nedenle, sıralamanız için çok önemlidir. Öyleyse, bir gönderideki bağlantıları takip etmelerini neden engellemek isteriz?
Karar vermeden önce kendinize şu soruları sorun:
-Bu sayfada yer alan tüm bağlantılar güvenilir mi?
Örneğin, sayfada tam olarak kontrol edemediğiniz, kullanıcı tarafından oluşturulan içerik bulunuyorsa, arama motorlarının bağlantıları izlemesini engellemek isteyebilirsiniz.
-Bu gönderiye eklediğim bağlantılar değerli mi?
Bazen, yönetici veya giriş sayfalarına bağlanmanız gerekir. Bunlar SEO’nuza değer katmaz, bu nedenle robotların onları takip etmesini engellemek güvenlidir.
-Bu gönderiye ücretli bağlantılar ekledim mi?
Bir sayfada öne çıkan bazı sponsorlu bağlantılarınız olabilir. Ancak, arama motorlarının web sitenizi bağlantı verdiğiniz siteyle ilişkilendirmesini istediğinizden emin misiniz? Cevap hayır ise, bağlantıyı takip etmelerine izin vermeyin.
Diğer yönergeler için bunları “Meta robots gelişmiş” alanında uygulamanız gerekecektir.
Apache Sunucunda X-Robots Etiketini Kullanma
Bir Apache web sunucusunda x-robots etiketini kullanmak için sitenizin .htaccess dosyasına veya httpd.config dosyasına aşağıdakini ekleyin..
Yukarıdaki örnek, .pdf dosya türünü belirler ve arama motorlarına dosyayı dizine eklememeleri, ancak üzerindeki bağlantıları izlemeleri talimatını verir.
Sık Yapılan Meta Robots Etiketi Hataları
Arama motorlarına bir web sayfasını hangi yönergelere göre tarayacaklarını ve dizine ekleyeceklerini söylerken yapılan en yaygın hatalar:
Robots.txt Tarafından Engellenen Bir Sayfadaki Meta Robots Yönergeleri
Robots.txt dosyanızda bir sayfaya izin verilmezse, arama motoru botları sayfayı tarayamaz ve meta robots etiketlerine veya bir x-robots etiketine yerleştirilmiş yönergeleri not alamaz.
Botların, verdiğiniz talimatları yerine getirebilmesi için, sayfaların taranabildiğinden emin olun.
Bir sayfa hiç dizine eklenmemişse, bunun arama sonuçlarında gösterilmesini önlemek için bir robots.txt izin vermeme kuralı yeterlidir. Ancak yine de bir meta robots etiketinin eklenmesi önerilmektedir.
Noindex Yönergesi Olan Sayfaları Site Haritalarından Kaldırma
Noindex komutunu kullanarak bir sayfayı dizinden çıkarmaya çalışıyorsanız, gerçekleşene kadar sayfayı site haritasında bırakın.
Aksi durumda bu işlemin gerçekleşmesinde gecikmelere sebep olabilir.
Sonuç
Farklı komutları ve bu komutların nasıl kullanıldığını anlayarak teknik SEO hatalarının önüne geçebilirsiniz. Sayfalarınızın hangi yönergelere göre taranıp, dizine eklenmesi üzerinde kontrole sahip olabilirsiniz.
Belirlediğiniz sayfaları, arama motoru sonuç sayfalarının (SERP’ler) dışında tutabilir ve arama motorlarının gereksiz bağlantıları izlemesini önleyebilirsiniz. Bunların yanı sıra snippet’larınızın nasıl görüntüleneceğini de belirlediğiniz komutlar sayesinde kontrol edebilirsiniz.
Siz de sitenizin sorunsuz çalıştığından emin olmak için robots meta etiketlerinizi ve x-robots etiketlerinizi kontrol etmeye başlayın.
Hoşçakalın.
İçeriklerimizden haberdar olmak
için e-posta adresinizi ekleyin
Dijital pazarlama dünyasıyla ilgili son gelişmeler hemen e-posta adresinize gelsin.
Takip Edebilirsiniz
Copyright 2022 © DigitalistWay │ Tüm Hakları Saklıdır