WordPress 5.3 İndekslemeyi Nasıl Engeller?

WordPress tarafından yapılan açıklamada arama motorlarının internet sitelerini indekslemesini engelleme ile ilgili bir değişiklik yapıldığı açıklandı. Wordpress 5.3 olarak nitelendirilen bu değişiklik, bilinen Robots.txt çözümünü; Robots Meta Tag’in lehine olacak hale getiriyor. WordPress’in bu değişikliği indekslemede engellenen sayfaların Google arama sonuçlarında gösterilmemesinin önüne geçiyor.

Bir Web Sitesinin Kullanacağı Robots. Meta Tag’i aşağıdaki gibidir;

<meta name = ‘robots’ content = ‘noindex, nofollow’ />

Google’ın İndekslemesinin Engellenmesi

Bir internet sitesinin indeks almasını engellemek için uzun zamandır standart olarak Robots.txt uygulaması kullanılıyor. “İndeksleme” demek web sitesini Google’ın botları tarafından taranması anlamına geliyor. Robots.txt engelleme özelliğini kullananlar bir web sayfasının Google tarafından indirilmesini durdurabiliyorlar. Aynı özellik konu olan web sayfalarının Google arama sonuçlarında gösterilmesini de engelliyor.

Fakat Robots.txt özelliği ile sadece Google sayfa taramaları engellenebiliyor. Şayet Google tarafından sayfanın URL’si bulunmuşsa dizine ekleyebiliyor. Bir web sitesinin dizinde görünmesinin önüne geçmek ancak yayıncı tarafından gerçekleştirilebilir. Fakat bu etkili bir çözüm değildir.

WordPress 5.3 İndekslemeyi Gerçekten Önler mi?

WordPress tarafından uyarlanan Robots.txt uygulaması 5.3 sürümünde güncellendi. Yeni eklenen özelliklere göre bir yayıncı Robots.txt ile arama motorlarının siteyi dizine eklemekten vazgeçmesini sağlayabiliyor. Şimdi ise WordPress 5.3 ile başlayan indeksleme engellemesinin Robots Meta Tag ile daha güvenilir hale getirileceği, yapılacak bu değişikliğin arama motorları tarafından bir web sitesinin dizine eklenmesinin de engelleneceği konuşuluyor.

Bu değişikliklerin önemli bir gelişme olduğunu belirten uzmanlar, WordPress yayıncılarının engellenen sayfaların Google arama sonuçlarında gösterilmeyeceğini bilmesinin daha güvenli olacağı yönünde fikir bildiriyorlar.

WordPress, bir internet sayfasının Google indekslemesinin engellenmesi konusunda Robots.txt uygulamasına güveniyordu. Çünkü bu engelleme daha önce pek çok yayıncı tarafından yapıldı. Bunu gerçekleştirmenin bilinen standart yolu da Robots.txt idi. Ancak bazı çevreler tarafından bu uygulamaya güven duyulmuyordu.

İndeksleme 2 Farklı Anlama Geliyor!

İndeksleme kelimesinin bilinen 2 farklı anlamı bulunuyor. Bunlara aşağıda detaylı olarak değinilmiştir.

İndekslemenin en bilinen anlamı GoogleBot’un web sayfalarını ziyaret ederek indirmesidir. Botlar aynı zamanda o sayfada tarama da yaparlar.
İndeksleme aynı zamanda Google’ın bir web sayfasının “Dizin” adı verilen veri tabanına bir başka web sayfası eklenmesi anlamına da gelir.

Google’ın bir internet sayfasını indekslemesinin engellenmesi aynı zamanda arama motorunun o sayfayı görmesinin de engellemektir. Ancak Google yine de web sayfalarını indeksleyebilir, dizine ekleyebilir. Peki bu mantıklı mı?

Robots.txt Versus Robots Meta Etiketi

İnternette bir sayfayı Google dizininin dışında tutmak aslında Robots.txt uygulamasının amacı değildir. Bunun gerçekleştirilmesi Robots Meta etkiketinin işidir. Bu sebeple de WordPress’in internet sayfalarının arama motorlarında gösteriminin engellenmesinin çözümü olarak Robots Meta Etiketi gösterilir.