Robots.txt: Nasıl oluşturulur? Ne İşe Yarar?

İnternet sitenizin arama motorları tarafından dizine eklenmesini kontrol etmek ve yönlendirmek için kullandığınız robots.txt dosyası hakkında konuşacağız. Robots.txt dosyasının ne işe yaradığını, nasıl oluşturulduğunu ve nelere dikkat edilmesi gerektiğini öğreneceksiniz. Hadi başlayalım!

Robots.txt dosyası, bir web sitesinin arama motorlarına hangi sayfaların indekslenmesine izin verildiğini veya hangi sayfaların indekslenmesinin yasaklandığını söylemek için kullanılan bir metin dosyasıdır. Bu dosya, web sitenizin kök dizininde bulunmalıdır ve herhangi bir arama motorunun web sitenizi ziyaret ettiğinde ilk olarak bu dosyayı kontrol etmesi gerekmektedir.

Siteniz arama motorları tarafından indexlenmiyorsa herhangi bir fayda sağlamaz. Arama sonuçlarında görünmek istiyorsanız, sitenizin arama motorları tarafından erişilebilir olduğundan emin olmanız gerekir. Bununla beraber, alakasız sayfaları (örneğin sitenizin footer bölümünde bulunan hukuki metinler) veya özel dokümanları arama motorlarından gizlemek isteyebilirsiniz. Bu makalede, robots.txt dosyası ve Robots Meta Etiketlerini kullanarak Arama Motorlarında Sitenizin Erişilebilirliğini Yönetme konusunu ele alıyor olacağız.

Robots.txt Dosyaları ve Etiketleri Ne İşe Yarar?

Robots.txt dosyaları oluşturma ve kullanma konusuna derinlemesine girmeden önce bunların ne işe yaradıklarını öğrenmekte fayda var. İşte birkaç senaryo:

• Kopya içeriğin indexlenmesini engelleme
• Yapım aşamasında olup yayına hazır olmayan sayfaları motorlardan gizleme
• Gizli sayfaların veya dosyaların erişimini kısıtlama

Kopya içerikler SEO performansınızı olumsuz etkiler çünkü arama motorları hangi içeriğin arama sorgusu ile daha yakın ilişkisi olduğuna karar vermekte zorlanır. Bu durum, arama motorlarının hangi içeriğin özgün ve değerli olduğunu belirlemesini engelleyerek sıralamada düşüş yaşanmasına neden olabilir. Bu nedenle, web sitenizdeki kopya ya da tekrar eden içerikleri arama motorlarından bloke etmek önemlidir.

Bu sorunu çözmek için robots.txt dosyası ve Robots Meta Etiketlerini kullanabilirsiniz. Robots.txt dosyası, arama motorlarının sitenizi taraması gereken ve taramaması gereken sayfaları belirlemenizi sağlar. Bu dosyayı düzenleyerek kopya içeriğe sahip sayfaları engelleyebilirsiniz. Ayrıca, Robots Meta Etiketleri sayesinde de sayfalarınızın indekslenip indekslenmeyeceğini belirleyebilirsiniz.

Bu teknikler kullanılarak web sitenizdeki kopya içeriklerin SEO performansını olumsuz etkilemesini engelleyebilir ve arama motorlarında daha iyi bir sıralama elde edebilirsiniz. Bu nedenle, özgün ve değerli içerikler oluşturarak SEO çalışmalarınızı destekleyebilir ve organik trafiğinizi artırabilirsiniz.

Tekrar eden içeriği yönetmenin başka bir yolu daha var (Canonical). Ancak bunun üzerinde daha sonra duracağız.

Yeni ve tamamlanmamış bir sayfalarınız varsa bunların motorlar tarafından indexlenmesini engellemek en mantıklısı. Piyasaya sürülmek üzere olan ürünler için hazırlamakta olduğunuz sayfalar buna örnek gösterilebilir.

Bazı web sitelerinin ise 3’üncü kişiler tarafından görülmemesi istenen sayfaları bulunabilir. Yine bu türden içerikleri arama motorlarından gizlemek gerekir. (En bariz örneği sitelerin yönetim paneli erişim arayüzleri olabilir.)

Facebook’un robots.txt dosyası ile arama motorlarından ne kadar çok şey gizlediğini biliyor musunuz? Göz atabilirsiniz: https://www.facebook.com/robots.txt

Şimdi, sayfalarımızın erişilebilirliğini neden yönetmemiz gerektiğini anladığımıza göre artık bunu nasıl yapacağımız konusuna geçebiliriz.

Robots.txt Dosyası Niçin Var?

Örümcekler çok çalışkandır. Onlara aksini söylemediğiniz sürece her şeyi tarayarak indexlemek isterler. Bir tarayıcı web sitenize uğradığında gözleri ilk olarak robots.txt dosyasını arar. Çünkü bu dosyada hangi sayfaların dizine ekleneceği ve hangi sayfaların yok sayılacağı gibi talimatlar bulunur. Robots.txt dosyasını düzenleyerek, web sitenizin bazı bölümlerine örümceklerin ulaşmasını engelleyebilirsiniz.

Sahip olduğunuz robots.txt dosyası sitenizin üst dizininde yer almalıdır. Ayrıca dosya ismi büyük/küçük harfe duyarlıdır. Örnek kullanım: sitenizinadi.com/robots.txt şeklinde olmalıdır.

Sitenize robots.txt dosyası ekledikten sonra bunu birden fazla kez kontrol etmenizi öneririm. Yanlış bir satır eklemek, önemli sayfalarınızın hatta sitenizin tamamının arama motorlarının erişimine kapatılmasına neden olabilir.

Robots.txt Dosyası Oluşturma

Robot.txt içinde birkaç kayıt içeren basit bir metin belgesidir. Her kayıt, user agent ve disallow olmak üzere iki ögeden oluşur.

User agent ögesi, hangi örümceklerin disallow komutunu kullanması gerektiğini söyler. Disallow ise tarayıcılara web sitesinin hangi bölümünün indexlenmeyeceğini bildirir.

Örnek bir kayıt şu şekilde görünecektir.

User-agent: * Disallow:

Tüm örümcekleri seçmek için * işaretini kullanırız. Yukarıdaki kayıt web sitenizin tamamını arama motorlarına açacaktır. Bunun nedeniyse disallow komutu için herhangi bir hedef belirtilmemiş olmasıdır.

Bununla birlikte disallow komut alanına bir “/” işareti ekleyerek sitenizi arama motorlarından tamamen gizlemek isteyebilirsiniz.

User-agent: * Disallow: /

Yanlış bir işaret yüzünden bazı sitelerin arama motorlarından tamamen gizlendiğine tanık olabilirsiniz.

Bir diğer kullanım şekli olarak, seçtiğiniz örümceklerin sitenizi indexlemesine engel olmak isteyebilirsiniz.

User-agent: Googlebot Disallow: /private-directory/

Yukarıdaki kayıt ile sitenizdeki /private-directory/ uzantısını Google arama motorundan gizleyebilirsiniz. Böylece Google üzerinden arama yapan kullanıcılar, arama sonuçlarında ilgili sayfayı görmeyeceklerdir.

Örümceklerin tam listesine göz atmak isterseniz web robots database sayfasını ziyaret edebilirsiniz.

Her bir user agent için bir disallow komutu eklemek hayli yorucu bir iş olacaktır. Neyse ki bir kayıt için birden fazla disallow komutu ekleyebiliriz.

User-agent: Bingbot Disallow: /sample-directory/ Disallow: /an-uninteresting-page.html Disallow: /pictures/logo.jpg

Yukarıdaki komutlar ile Bing arama motorundan söz konusu 3 tane uzantıyı gizlemiş oluyoruz.

Robots.txt Dosyanız İçin Özel Komutlar

Şu ana kadar düzenli komutları inceledik. Bununla beraber robots.txt dosyanızda bazı özel komutlar oluşturabilirsiniz.

Örneğin; pek çok insan CMS olarak Wordpress kullanır. Ziyaretçiler site içi arama özelliğini kullanarak, belirli bir konu ya da URL ile ilgili arama sonuçlarına ulaşabilir. Örneğin dijital medya uzmanlığı web sitesinde arama butonunu kullanarak ‘’SEO’’ sözcüğünü aratınca http://dijitalmedyauzmanligi.com/?s=SEO link yapısı karşımıza çıkar.

Eğer site içi arama sonuçlarının arama motorlarında indexlenmesini istemiyorsanız, aşağıdaki komutu kullanabilirsiniz.

User-agent: * Disallow: /?s=

Yine çeşitli dosya formatlarını arama sonuçlarından gizlemek isterseniz aşağıdaki komutu ekleyebilirsiniz. Bu örnekte tüm “.png” uzantılı resimler arama sonuçlarından gizlenmiştir.

User-agent: * Disallow: /*.png$

Komutun sonuna “$” işaretini eklemeyi unutmayın, çünkü bu işaret arama motorlarına URL dizininin sona erdiğini söyler. 🙂

Robots.txt Dosyasını Test Etme

Robots.txt dosyasında herhangi bir yanlış yapıp yapmadığınızı görmek için onu test etmeniz akıllıca olur. Bunun için Google Search Console kullanabilirsiniz. Health (mülk sağlığı) başlığı altında blocked urls (erişime engellenmiş URL) sayfasında detaylara ulaşabilirsiniz. Ayrıca, robots.txt dosyasında yaptığınız bir değişikliği yüklemeden önce burada test edebilirsiniz.

Robots Meta Etiketleri

Robots Meta Etiketleri örümceklerin tek bir sayfaya erişimini yönetmek için kullanılır. Belirtilen sayfanın motorlar tarafından indexlenmesi, arşivlenmesi ve takip edilmesi ile ilgili işlemler bu etiketler yoluyla da yapılabilir.

Robots Meta Etiketlerin örnek bir kullanımı aşağıdaki gibidir:

<head> <meta name=”robots” content=”noindex” /> </head>

Bu meta etiketi, bulunduğu sayfanın arama motorları tarafından indexlenesini engeller. Noindex dışında kullanabileceğiniz birkaç yararlı özellik daha var:

• İndex: bu sayfa indexlenebilir, aram sonuçlarında görünür.
• Noindex: bu sayfa indexlenmez, arama sonuçlarında görünmez.
• Follow: sayfadaki linkler takip edilebilir.
• Nofollow: sayfadaki linkler takip edilemez.
• Archive: sayfada cash (önbellek) alınmasına izin vardır.
• Noarchive: sayfada cash (önbellek) alınmasına izin yoktur.
• Bir Robots Meta Etiketi içinde birden fazla özellik de kullanılabilir.

<head>   <meta name=”robots” content=”noindex, nofollow” />   </head>

Yukarıdaki meta etiketi, bulunduğu sayfanın arama motorları tarafından indexlenmesini ve linklerinin takip edilmesini engeller.

Eğer birbiriyle çelişen etiketleri kullanacak olursanız, Google en sınırlayıcı olanını baz alacaktır. Yani bir sayfada hem index hem de noindex etiketini kullandığınızda, sayfa Google tarafından indexlenmez.

Robots.txt Dosyası mı? Robots Meta Etiketleri mi?

Yazının bu bölümüne kadar geldiyseniz, Arama Motorlarında Sitenizin Erişilebilirliğini Yönetme hakkında kullanabileceğiniz 2 yöntemin Robots.txt dosyası ve Robots Meta Etiketleri olduğunu biliyorsunuz.

Robots.txt dosyaları tüm bir dizini ya da bir dosya formatını engellemek için mükemmel bir yöntemdir. Neticede bir satırlık kod ile büyük bir işi gerçekleştirebiliyoruz. Ancak tek bir sayfayı arama motorlarından gizlemek için en iyi yöntem Robots Meta Etiketlerini kullanmak olacaktır.

Robots.txt Dosyası Oluşturulurken Dikkat Edilmesi Gerekenler

Robots.txt dosyası oluştururken dikkat etmeniz gereken bazı önemli noktalar vardır. İşte bu noktalardan bazıları:

1. Doğru Dizin: Robots.txt dosyasını web sitenizin kök dizininde (www.siteadi.com/robots.txt) oluşturmanız gerekmektedir.
2. Kodlama Hatası Olmamalı: Dosyada yapılan herhangi bir hata, arama motorlarının dosyayı okuyamamasına veya yanlış anlamasına neden olabilir.
3. Başka Sayfalara Yönlendirme: Robots.txt dosyasındaki bağlantılar sayesinde diğer önemli sayfalara erişim sağlayabilir ve arama motorlarının bu sayfaları daha hızlı indekslemesini sağlayabilirsiniz.

Arama Motorları için Kullanıcı Deneyimi Her Şeyin Önünde

Bazı durumlarda robots.txt dosyaları ile arama motorlarına kapatılan sayfaların hala arama sonuçlarında görüldüğüne şahit oluruz. Eğer söz konusu sayfa, çok sayıda backlink tarafından arama sorgusunun karşılığı olarak belirtilmişse; Google bunun sonuçlarda gösterilmesi gerektiği kanaatine ulaşır. Sonuç olarak Google, kullanıcı deneyimine teknikten daha fazla önem veriyor diyebiliriz.

Eğer sayfanın indexlenmesini kesinlikle istemiyorsanız, Robots Meta Etiketi noindex komutunu kullanmalısınız. Bu size karmaşık geliyor olabilir ancak sorularınızın yanıtını Matt Cuts tarafından yayınlanan bu videoda bulabilirsiniz.

Robots.txt dosyası ve robots meta etiketleri ile sitenizin arama motorlarındaki erişilebilirliğini yönetebilirsiniz.

Sitenizdeki önemli sayfaların yanlışlıkla arama sonuçlarına kapatılmasını istemiyorsanız, Robots.txt dosyasını ve robots meta etiketlerini tekrar kontrol etmeyi unutmayın.

Sıkça Sorulan Sorular