SEO

Robots.txt Nedir? Robots.txt Dosyası Nasıl Hazırlanır?

Robots.txt, arama motoru botlarına sitenizin hangi bölümlerini tarayabileceklerini söyleyen küçük bir metin dosyasıdır. Bu rehberde komutları, joker karakterleri, kural önceliğini ve dosyayı hatasız hazırlamanın adımlarını örneklerle anlatıyoruz.

CERS Dijital Büyüme Rehberi6 Dakika Okuma
Robots.txt Nedir? Robots.txt Dosyası Nasıl Hazırlanır?

Robots.txt, bir sitenin teknik altyapısında en az yer kaplayan ama en büyük etkiyi yaratabilen dosyalardan biridir. Doğru hazırlandığında arama motorlarının değersiz sayfalarla vakit kaybetmesini önler; tek bir hatalı satır ise sitenin tamamının taranmasını durdurabilir.

Bu rehberde robots.txt dosyasının ne olduğunu, hangi komutlarla yazıldığını, joker karakterlerin nasıl çalıştığını, çakışan kurallarda hangisinin geçerli olduğunu ve dosyayı nasıl test edeceğinizi adım adım ele alıyoruz. Kod blokları yerine her komutu ayrı satırlarda, açıklamasıyla birlikte gösteriyoruz.

01

Robots.txt Nedir ve Nerede Bulunur?

Robots.txt, Robots Exclusion Protocol adı verilen standarda göre yazılan düz metin bir dosyadır. Googlebot, Bingbot gibi tarayıcılar bir siteyi ziyaret etmeden önce bu dosyayı okur ve hangi adreslere istek gönderebileceklerini buradan öğrenir. Dosya bir güvenlik önlemi değildir; kurallara uyan botlar için bir yönergedir ve herkes tarafından görüntülenebilir.

Dosya mutlaka sitenin kök dizininde, alanadiniz.com/robots.txt adresinde bulunmalıdır. Alt klasöre konan bir robots.txt dikkate alınmaz. Kurallar yalnızca dosyanın bulunduğu protokol ve alan adı için geçerlidir; bu nedenle örneğin bir blog alt alan adının kendi robots.txt dosyası olmalıdır. Dosya adı küçük harfle yazılır ve UTF-8 kodlamalı düz metin olarak kaydedilir.

02

Robots.txt Komutları: User-agent, Disallow, Allow ve Sitemap

Bir robots.txt dosyası, her biri bir User-agent satırıyla başlayan kural gruplarından oluşur. Grubun altındaki satırlar, o bota nelerin yasak, nelerin serbest olduğunu tanımlar.

User-agentKuralların hangi tarayıcıya uygulanacağını belirtir; yıldız tüm botlar anlamına gelir
DisallowBelirtilen yol ile başlayan adreslerin taranmasını engeller
AllowEngellenmiş bir klasör içindeki belirli bir yola tarama izni verir
SitemapXML site haritasının tam adresini bildirir; gruplardan bağımsızdır

Basit bir örnek dosya şu satırlardan oluşabilir:

  • User-agent: * – Aşağıdaki kurallar tüm tarayıcılar için geçerlidir.
  • Disallow: /panel/ – Yönetim paneli klasörü taranmaz.
  • Allow: /panel/yardim/ – Panelin yalnızca yardım sayfaları taranabilir.
  • Sitemap: https://www.alanadiniz.com/sitemap.xml – Site haritasının konumu.

Boş bir Disallow satırı hiçbir şeyi engellemez, yani tüm siteye izin verir. Yollar büyük ve küçük harfe duyarlıdır: /Urunler/ ile /urunler/ farklı adresler olarak değerlendirilir. Bir bot, kendi adıyla eşleşen en belirgin grubu uygular ve diğer grupları dikkate almaz; bu yüzden Googlebot için ayrı bir grup yazarsanız genel gruptaki kuralları o gruba da eklemeniz gerekir. Google, Crawl-delay satırını ve robots.txt içine yazılan noindex komutunu desteklemez.

03

Robots.txt Wildcards: Yıldız ve Dolar İşaretleri

Google ve Bing, robots.txt yollarında iki joker karakteri destekler. Yıldız (*) sıfır veya daha fazla karakterin yerine geçer; dolar ($) ise adresin o noktada bitmesi gerektiğini belirtir. Bu iki karakter, çok sayıda benzer adresi tek satırla yönetmeyi mümkün kılar.

  • Disallow: /*?siralama= – İçinde siralama parametresi geçen tüm filtre adreslerini engeller.
  • Disallow: /*.pdf$ – Yalnızca .pdf ile biten adresleri engeller; /dosya.pdf?v=2 gibi adresler bu kurala takılmaz.
  • Disallow: /arama – /arama, /arama-sonuclari ve /aramalar gibi bu ifadeyle başlayan tüm yolları kapsar; çünkü yollar varsayılan olarak önek mantığıyla eşleşir.
  • Disallow: /arama$ – Yalnızca tam olarak /arama adresini engeller.

Joker karakterler güçlüdür ama geniş kapsamlı oldukları için dikkat ister. Parametreli adresleri engellemeden önce bu parametrelerin hangi sayfalarda kullanıldığını kontrol edin; kategori sayfalarınızın sayfalama parametresini yanlışlıkla engellemek, ürünlerin keşfedilmesini zorlaştırabilir.

04

Robots Allow ve Disallow Çakışırsa Hangisi Geçerli Olur?

Aynı adres hem bir Allow hem de bir Disallow kuralıyla eşleşebilir. Google bu durumda satırların sırasına bakmaz; yol uzunluğu en fazla olan, yani en belirgin kuralı uygular. Örneğin Disallow: /blog/ ve Allow: /blog/rehber/ birlikte yazıldığında /blog/rehber/robots-txt adresi taranabilir, /blog/haberler/ ise taranamaz.

İki kural eşit uzunluktaysa Google daha az kısıtlayıcı olanı, yani Allow kuralını seçer. Diğer arama motorlarının bu tür uç durumları farklı yorumlayabileceğini unutmamak gerekir; bu nedenle mümkün olduğunca belirsizlik yaratmayan, sade kurallar yazmak en güvenli yaklaşımdır.

Öncelik kuralıGoogle için satır sırası değil, kuralın ne kadar belirgin olduğu belirleyicidir.
05

Robots.txt ve SEO: Taramayı Engellemek Dizinden Çıkarmak Değildir

Robots.txt yalnızca taramayı kontrol eder. Engellenen bir sayfa başka sitelerden bağlantı alıyorsa, Google içeriğini okumadan da adresini dizine ekleyebilir ve sonuçlarda açıklamasız bir kayıt olarak gösterebilir. Bir sayfanın arama sonuçlarında görünmemesini istiyorsanız noindex etiketi kullanmalı ve Google'ın bu etiketi görebilmesi için sayfayı robots.txt ile engellememelisiniz.

Robots.txt'nin asıl SEO değeri, tarama kaynaklarını önemli sayfalara yönlendirmesidir. İç arama sonuçları, sonsuz filtre kombinasyonları ve oturum parametreli adresler engellendiğinde botlar zamanlarını değerli içeriğe ayırır. Dizine ekleme, kanonik sinyaller ve site haritası kontrollerinin bütününü teknik SEO kontrol listesi rehberimizde bulabilirsiniz.

06

Robots.txt Dosyası Nasıl Hazırlanır?

Robots.txt hazırlamaya yazmakla değil, sitenin hangi bölümlerinin aranmasını istemediğinizi belirlemekle başlamak gerekir. Aşağıdaki sıra, çoğu kurumsal site için işe yarar:

  1. Sitenin adres yapısını çıkarın; yönetim paneli, iç arama, sepet, filtre ve teşekkür sayfaları gibi arama sonucunda değeri olmayan bölümleri listeleyin.
  2. Her bölüm için gerçekten tarama engeli mi, yoksa noindex mi gerektiğine karar verin.
  3. Kuralları bir düz metin editöründe, mümkün olduğunca az ve sade satırla yazın; CSS, JavaScript ve görsel klasörlerini engellemeyin.
  4. Dosyanın sonuna site haritası adresini tam URL olarak ekleyin.
  5. Dosyayı kök dizine yükleyin, tarayıcıda açarak erişilebildiğini ve 200 durum koduyla döndüğünü doğrulayın.

Yeni bir site geliştiriliyorsa robots.txt kuralları yayın öncesi kontrol listesine eklenmelidir. Test ortamında kullanılan kapatma kuralının canlıya taşınmaması, kurumsal web sitesi projelerinde en çok dikkat edilmesi gereken yayın adımlarından biridir.

07

WordPress Robots.txt Oluşturma

WordPress, kök dizinde fiziksel bir dosya yoksa sanal bir robots.txt üretir. Bu sanal dosya genellikle /wp-admin/ klasörünü engeller, /wp-admin/admin-ajax.php dosyasına izin verir ve güncel sürümlerde WordPress'in kendi site haritasını bildirir. Kök dizine gerçek bir robots.txt dosyası yüklediğinizde sanal dosya devre dışı kalır ve sunucudaki dosya geçerli olur.

Yaygın SEO eklentileri, dosyayı yönetim panelinden düzenlemeye imkân tanır. Düzenleme yaparken birden fazla eklentinin aynı dosyayı yönetmeye çalışmadığından emin olun. Ayarlar altındaki Okuma bölümünde bulunan arama motorlarını engelleme seçeneğinin de canlı sitede kapalı olduğunu kontrol edin; bu seçenek açık kaldığında site arama sonuçlarından uzak tutulmaya çalışılır.

08

Robots.txt Hataları ve Search Console ile Test

Robots.txt hataları genellikle sessizdir: site çalışmaya devam eder, ancak trafik birkaç hafta içinde düşmeye başlar. Bu nedenle dosyada yapılan her değişiklik kontrol edilmelidir.

Sık yapılan robots.txt hataları

  • Test ortamından kalan Disallow: / satırının canlı sitede unutulması
  • CSS ve JavaScript klasörlerinin engellenmesi; Google sayfayı doğru oluşturamaz
  • Dizinden çıkarılmak istenen sayfaların noindex yerine robots.txt ile engellenmesi
  • Büyük ve küçük harf farkı nedeniyle kuralın hedef adresle eşleşmemesi
  • Joker karakterlerin gereğinden geniş yazılarak önemli sayfaları kapsaması
  • Dosyanın alt klasöre veya yanlış alan adına yüklenmesi

Google Search Console'daki robots.txt raporu, Google'ın sitenizde bulduğu robots.txt dosyalarını, son okunma zamanını ve tespit edilen hata veya uyarıları gösterir. Acil bir düzeltme sonrasında bu rapordan yeniden tarama isteği gönderebilirsiniz. Tek bir adresin engellenip engellenmediğini görmek için URL denetleme aracını kullanın. Google'ın dosyayı genellikle bir güne kadar önbellekte tuttuğunu, değişikliklerin hemen yansımayabileceğini de hesaba katın.

09

Yapay Zekâ Tarayıcıları için Robots.txt Kuralları

Son dönemde bazı yapay zekâ şirketleri, içerik toplamak için kendi tarayıcılarını kullanıyor ve bunları robots.txt ile yönetilebilir hâle getiriyor. Örneğin OpenAI'ın GPTBot adlı tarayıcısı ayrı bir User-agent adıyla tanımlanır. Google-Extended ise ayrı bir tarayıcı değil, içeriğinizin Google'ın bazı yapay zekâ modellerinde kullanılıp kullanılmayacağını kontrol eden bir belirteçtir ve Google Arama'daki görünürlüğünüzü etkilemediği belirtilmektedir.

Bu alandaki tarayıcı adları ve kullanım koşulları sık değişir; kural yazmadan önce ilgili şirketin güncel dokümantasyonunu kontrol etmek gerekir. Ayrıca robots.txt'nin yalnızca kurallara uyan botları bağladığını unutmayın. Yapay zekâ tarayıcılarını engelleyip engellememek, markanızın içerik stratejisi ve arama motoru görünürlüğü hedefleri birlikte değerlendirilerek verilmesi gereken bir karardır.

Sonuç

İyi bir robots.txt dosyası kısa, sade ve düzenli olarak test edilen bir dosyadır.

Robots.txt, arama motorlarının sitenizde nereye zaman ayıracağını belirleyen temel bir araçtır. Komutların mantığını, joker karakterlerin kapsamını ve kural önceliğini bildiğinizde dosyayı birkaç satırla etkili biçimde yönetebilirsiniz. Taramayı engellemenin dizinden çıkarmak anlamına gelmediğini unutmayın ve her değişikliği Search Console ile doğrulayın. Sitenizin tarama ve dizine ekleme ayarlarını SEO hizmeti kapsamında birlikte ele almak isterseniz ihtiyaçlarınızı paylaşın.

Sık Sorulan Sorular

Her sitenin robots.txt dosyasına ihtiyacı var mı?

Zorunlu değildir; dosya yoksa arama motorları sitenin tamamını taranabilir kabul eder. Ancak site haritasını bildirmek ve değersiz bölümleri taramadan çıkarmak için basit bir robots.txt dosyası bulundurmak iyi bir uygulamadır.

Robots.txt ile engellenen sayfa Google'da görünmeye devam eder mi?

Görünebilir. Sayfa başka sitelerden bağlantı alıyorsa Google içeriği okumadan adresi dizine ekleyebilir. Sayfayı sonuçlardan kaldırmak için noindex etiketi kullanılmalı ve taramaya izin verilmelidir.

Robots.txt değişiklikleri ne kadar sürede etkili olur?

Google robots.txt dosyasını genellikle bir güne kadar önbellekte tutar. Acil durumlarda Search Console robots.txt raporu üzerinden yeniden tarama isteği gönderilerek süreç hızlandırılabilir.

WordPress sitemde robots.txt dosyasını nereden düzenlerim?

Kök dizinde fiziksel bir dosya yoksa WordPress sanal bir dosya üretir. Bu dosyayı SEO eklentinizin araçlar bölümünden düzenleyebilir veya kök dizine kendi hazırladığınız robots.txt dosyasını yükleyebilirsiniz.

Yapay zekâ botlarını robots.txt ile engellemek SEO'yu etkiler mi?

GPTBot gibi yapay zekâ tarayıcılarını engellemek Googlebot'un taramasını etkilemez. Google-Extended belirtecinin de Google Arama görünürlüğünü etkilemediği belirtilmektedir; yine de karar vermeden önce güncel dokümantasyonu kontrol etmek gerekir.

Dijital Büyüme

Markanız için uygulanabilir bir dijital yol haritası belirleyelim.

Projenizi Değerlendirelim
↑