Google’da İndekslenmeyen Sayfa Nasıl İncelenir? Robots.txt, Noindex ve Canonical

Yeni bir yazı yayımladınız, adresi tarayıcıda açılıyor ama Google'da aradığınızda görünmüyor. İlk akla gelen soru genellikle şu: “Site haritasını gönderdim, neden hâlâ çıkmadı?”

Bu sorunun tek bir cevabı yok. Google'ın bir sayfayı bulması, taraması, indekslemesi ve uygun bir aramada göstermesi farklı süreçlerdir. Site haritasına bir adres eklemek veya Search Console üzerinden tarama istemek, sayfanın mutlaka indeksleneceği ya da sıralama alacağı anlamına gelmez.

Bu yazıda özellikle küçük ve orta ölçekli web sitelerinde sık karşılaşılan teknik kontrolleri ele alacağım. Amacımız Google'ı bir sayfayı indekslemeye zorlamak değil; sayfanın doğru şekilde keşfedilmesini ve anlaşılmasını engelleyen bir sorun olup olmadığını bulmak.

1. Önce sayfanın herkese açık olduğundan emin olun

Adresi gizli tarayıcı penceresinde açın. Giriş yapmadan içeriğe ulaşabiliyor musunuz? Hata sayfasına, giriş ekranına veya başka bir adrese yönleniyor mu?

Sunucunun yanıtını görmek için kendi URL'nizle şu komutu kullanabilirsiniz:

curl -sS -o /dev/null -w 'HTTP: %{http_code}\n' \
  --max-time 15 https://example.com/blog/ornek-yazi

Yayımlanmış ve indekslenmesini istediğiniz bir sayfanın normal şartlarda başarılı yanıt vermesi gerekir. 200 almak ilk kontroldür; tek başına indekslenme garantisi vermez. Ayrıca sunucunun koruma kuralları komut satırı araçlarına veya Googlebot'a tarayıcıdan farklı yanıt verebilir.

Gerçekte bulunmayan bir sayfaya sadece güzel görünümlü bir “bulunamadı” ekranı gösterip 200 dönmek de yanıltıcı olabilir. Böyle bir durum Google tarafından soft 404 olarak değerlendirilebilir.

2. Search Console’da URL Denetimi yapın

Google Search Console'da ilgili mülkü seçin ve sayfanın tam adresini URL Denetimi aracına girin. Burada iki farklı bilgiyle karşılaşabilirsiniz:

• Google'ın sayfayla ilgili daha önce kaydettiği indeks bilgisi.
• Canlı URL testi sırasında o anda erişilebilen sürüm.

Bu ikisi aynı zaman dilimini temsil etmeyebilir. Örneğin az önce noindex kaldırmış olsanız bile Google'ın kayıtlı bilgisi önceki taramaya ait olabilir. Canlı test düzeltmenin şu anda erişilebilir olduğunu gösterir; arama sonuçlarının hemen güncellendiği anlamına gelmez.

Sorunu giderdikten sonra indeksleme isteği gönderebilirsiniz. Yine de tarama ve indeksleme zamanını Google belirler.

3. Robots.txt ve noindex aynı iş için kullanılmaz

Bu iki yapı sıkça karıştırılıyor. robots.txt, uyumlu arama motoru botlarına hangi yolların taranabileceği konusunda talimat verir. Tek başına bir gizlilik aracı değildir; erişimi engellenen bir URL, başka yerlerden keşfedilirse içerik taranmadan da arama sonuçlarında adres olarak görünebilir.

Bir sayfanın indekslenmesini istemiyorsanız HTML içinde şu yönerge kullanılabilir:

<meta name="robots" content="noindex, follow">

Burada önemli bir ayrıntı var: Google'ın noindex yönergesini görmesi için sayfayı tarayabilmesi gerekir. Aynı sayfayı robots.txt ile tamamen engellerseniz, bot sayfadaki noindex bilgisini okuyamayabilir. Google bu ayrımı robots meta etiketi belgelerinde açıklıyor.

Bir sayfayı gerçekten özel tutmak istiyorsanız noindex ya da robots.txt yeterli güvenlik sağlamaz; giriş zorunluluğu gibi sunucu tarafında erişim kontrolü kullanın. Yönetim panelini gizli tutmakla bir sayfayı arama sonuçlarından çıkarmak farklı ihtiyaçlardır.

İndekslenmesini istediğiniz bir sayfada yanlışlıkla noindex bırakılmadığını hem HTML kaynağında hem de varsa X-Robots-Tag HTTP yanıt başlığında kontrol edin.

4. Canonical hangi adresi işaret ediyor?

Aynı içeriğe birden fazla adresten ulaşılabiliyorsa canonical etiketi tercih edilen sürüm hakkında sinyal verir:

<link rel="canonical" href="https://example.com/blog/ornek-yazi">

Buradaki adresi kendi sitenizin gerçek ve erişilebilir adresiyle değiştirin. Yazının canonical etiketinin yanlışlıkla ana sayfayı, başka bir yazıyı veya test alan adını göstermesi, Google'a çelişkili sinyaller verebilir.

Canonical bir yönlendirme değildir ve kesin bir emir olarak değerlendirilmez; Google birden fazla sinyali değerlendirerek farklı bir adres seçebilir. Ayrıca birbirinden farklı içerikler barındıran sayfalama sayfalarının tamamını otomatik olarak ilk sayfaya canonical yapmak yerine her sayfanın içeriğini ve indeksleme amacını ayrı değerlendirin. Google'ın canonical açıklaması bu sinyalin sınırlarını anlatır.

5. Site haritasını gerçek bir kaynak listesi gibi düşünün

XML site haritasına, arama sonuçlarında görülmesini istediğiniz ve tercih ettiğiniz adresleri ekleyin. Örneğin:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://example.com/blog/ornek-yazi</loc>
  </url>
</urlset>

Bu yalnızca örnek bir yapıdır. Gerçek sitenizde adresi tam, mutlak URL olarak yazın. Taslakları, yönlendirme yapan adresleri veya özellikle noindex verdiğiniz sayfaları site haritasına eklemek, arama motorlarına karışık sinyaller verebilir.

Site haritasının kendisini tarayıcıdan açın; hata veriyor mu, gerçek URL'leri içeriyor mu, yanlış alan adına mı işaret ediyor? Search Console'a göndermek Google'ın dosyadan haberdar olmasına yardımcı olur; her adresin indeksleneceğinin garantisi değildir. Google'ın site haritası rehberi hem adres seçimini hem de dosya kurallarını açıklar.

6. Teknik sorun yoksa içeriği ve bağlantıları inceleyin

Bütün teknik kontroller geçildiğinde bile Google bir sayfayı indekslememeyi seçebilir. Sayfanın gerçekten okuyucuya ne kattığına bakın: Soruyu yanıtlıyor mu, özgün bilgi içeriyor mu, ana içerik kolayca anlaşılabiliyor mu? Yalnızca birkaç kelimesi değiştirilmiş çok sayıda benzer sayfa üretmek, teknik olarak erişilebilir olsalar da faydalı bir strateji olmayabilir.

İç bağlantılar da keşif açısından önemlidir. Yeni yazıya ilgili kategori, ana sayfadaki yazı listesi veya konuyla gerçekten ilişkili başka bir yazı üzerinden ulaşılabilmesi, hem ziyaretçilere hem de tarama sürecine yardımcı olur. Sırf sayıyı artırmak için alakasız bağlantılar eklemeye gerek yok.

Kontrolleri tamamladıktan sonra en iyi yaklaşım, sorunun türüne göre düzeltme yapmak ve Search Console verilerini zaman içinde takip etmektir. Tek bir etiketi değiştirmek tüm indeksleme sorunlarını çözmez; erişim, içerik, canonical ve site haritası birlikte değerlendirildiğinde tablo daha netleşir.