Log dosyası analizi tarama bütçesini neden doğrudan etkiler?
Tarama bütçesi, arama motoru botlarının siteniz için belirli bir zaman diliminde harcayabildiği kaynak miktarıdır. Bu kaynak sınırsız değildir; botlar sunucunuzun yanıt hızına, sitenin büyüklüğüne ve sayfaların niteliğine göre bir tarama hızı belirler. Aynı bütçe içinde ne kadar çok gereksiz URL taranırsa, indekslenmesi gereken sayfalara o kadar az sıra gelir. Log dosyası analizi tam bu noktada devreye girer: botların hangi URL'leri, hangi sıklıkla ve hangi yanıt kodlarıyla ziyaret ettiğini tahminle değil, kayıtla gösterir.
Tarama bütçesi neyi kapsar?
Bütçe yalnızca "kaç sayfa tarandı" sorusundan ibaret değildir. Botun bir sayfayı ne sıklıkla yeniden ziyaret ettiği, sunucudan aldığı yanıt süresi, karşılaştığı hata kodları ve yönlendirmeler de bu bütçenin parçasıdır. Yavaş yanıt veren bir sunucu, botun aynı sürede daha az sayfa taramasına yol açar; sürekli 404 dönen bağlantılar ise bütçeyi doğrudan tüketir. Bu nedenle tarama bütçesini bir "hacim" değil, bir "verimlilik" problemi olarak ele almak gerekir.
Sunucu kayıtları hangi soruları yanıtlar?
Doğru okunduğunda log dosyaları, çoğu teknik SEO sorununun cevabını içinde taşır:
- Botlar hangi dizinlerde yoğunlaşıyor, hangi bölümlere hiç uğramıyor?
- Hangi URL'ler parametre, filtre veya oturum kimliği nedeniyle tekrar tekrar taranıyor?
- Tarama isteklerinin ne kadarı 404, 301 veya 5xx yanıtıyla sonuçlanıyor?
- Botlar sunucudan ortalama ne kadar sürede yanıt alıyor?
Analize başlamadan toplanması gereken veriler
Sağlıklı bir analiz için en az otuz günlük kesintisiz kayda ihtiyacınız olur; mevsimsel kampanyalar varsa daha uzun bir aralık seçmek yanıltıcı sonuçları azaltır. Sunucu loglarının yanına sitenin URL envanterini, site haritasını ve arama konsolu verilerini ekleyin. Bu üç kaynağı yan yana koyduğunuzda "bot ne yaptı" sorusu ile "bot ne yapmalıydı" sorusu arasındaki farkı somut olarak görürsünüz.
Log dosyalarını analize hazırlamanın pratik adımları
Ham log dosyaları ilk bakışta okunamaz görünür: binlerce satır, farklı biçimler ve insan trafiğinden gelen gürültü. Birkaç standart adım, bu dosyayı karar verilebilir bir tabloya dönüştürmek için yeterlidir.
Ham kayıtları temizleyin ve bot trafiğini ayırın
Önce yalnızca arama motoru botlarına ait istekleri ayırın. Farklı bot sınıflarını (arama, görsel, reklam, arşiv) ayrı ayrı etiketlemek, hangi botun bütçenizi ne kadar kullandığını görmenizi sağlar. Ardından statik varlıkları (görsel, CSS, JavaScript dosyaları) filtreleyin; bunlar taranır ama sayfa envanteriniz hakkında bilgi vermez. Tarih, saat, istenen URL, yanıt kodu, yanıt boyutu ve yanıt süresi kolonlarını standart bir tabloya taşıyın.
Botları doğrulamadan karar vermeyin
User-agent alanı tek başına güvenilir bir kimlik belgesi değildir; herhangi bir istemci kendini bot olarak tanıtabilir. Yanlış doğrulama, hem gereksiz optimizasyona hem de gerçek bot davranışını gözden kaçırmanıza yol açar.
Ters DNS ve ileri DNS kontrolü
Kaynak IP'nin alan adına çözülmesi ve bu alan adının yeniden aynı IP'ye çözülmesi, talebin gerçekten ilgili bot altyapısından geldiğini gösterir. İki yönlü kontrolü geçemeyen kayıtları analiz dışında bırakın.
IP aralığı doğrulaması
Arama motorlarının yayımladığı resmi IP listeleriyle karşılaştırma yapın. Liste güncellenebildiği için analizi otomatikleştirip doğrulama adımını tekrar edilebilir hale getirin.
User-agent dışı sinyaller
Aynı IP'den gelen tutarsız user-agent bildirimleri, sahte bot trafiğinin en yaygın işaretidir. Bu tür kayıtları ayrı bir sekmede tutun; çünkü bunlar sitenizin gerçek tarama davranışını çarpıtır.
Ölçüm için temel metrikleri belirleyin
Analiz boyunca aynı metrikleri kullanın: bot başına toplam istek sayısı, tekil URL sayısı, hata kodu dağılımı, ortalama yanıt süresi ve tarama derinliği. Bu beş gösterge, iyileştirme öncesi ve sonrası karşılaştırması için yeterli bir çerçeve sunar.
Tarama bütçesini tüketen yaygın teknik sorunlar
Çoğu sitede tarama bütçesi kaybı birkaç tekrar eden kalıptan kaynaklanır. Log dosyası analizi bu kalıpları isimleriyle gösterdiğinde, çözüm de tahminden çıkıp net bir iş listesine dönüşür.
Parametreli ve tekrarlayan URL'ler
Filtreleme, sıralama ve izleme parametreleri aynı içeriği onlarca farklı adreste çoğaltır. Bot her varyantı ayrı bir sayfa gibi tarar; oysa kullanıcı için tek bir sayfa vardır. Loglarınızda parametre içeren isteklerin toplam taramanın önemli bir bölümünü oluşturduğunu görüyorsanız, canonical etiketleriyle asıl adresi belirtin ve gereksiz varyantları iç bağlantılardan çıkarın. Sıralama ve filtre parametrelerinde yönlendirme yerine canonical tercih etmek, kullanıcı deneyimini bozmadan sinyali netleştirir.
İç arama, oturum ve sepet sayfaları
İç arama sonuç sayfaları, oturum kimliği taşıyan adresler ve boş sepet gibi dinamik sayfalar botlar için sonsuz bir tuzaktır. Bu adresler çoğu zaman indekslenebilir durumdadır ve her ziyarette yeni bir URL üretir. Bu tür dizinleri robots.txt ile taramaya kapatmak, sayfa düzeyinde indeksleme sinyalini kaldırmak ve iç bağlantılarda kullanmamak bütçeyi hızla geri kazandırır. Kapatma kararını verirken loglarda bu adreslerin gerçekten ne kadar istek aldığını kontrol edin; varsayımla hareket etmeyin.
Yumuşak 404'ler, yönlendirme zincirleri ve yavaş yanıtlar
Boş sonuç dönen ama 200 kodu veren sayfalar, botun içeriği olmayan bir adresi taramasına neden olur. Ardı ardına eklenen yönlendirmeler ise tek bir tıklamada birden fazla istek üretir. Loglarda üç ve daha fazla adımlı zincirleri, sık dönen 5xx hatalarını ve ortalamayı yukarı çeken yavaş sayfaları listeleyin. Sunucu yanıt süresi düzeldiğinde bot aynı zaman diliminde daha fazla sayfa tarayabilir; bu, teknik SEO'da en hızlı kazanç sağlayan alanlardan biridir.
Bulguları uygulanabilir iyileştirmelere dönüştürme
Analiz raporu, üzerinde çalışılmadığı sürece yalnızca bir belgedir. Aşağıdaki üç başlık, loglardan çıkan bulguları kalıcı iyileştirmeye çevirmenin en doğrudan yolunu özetler.
robots.txt ve meta robots ile önceliklendirme
Tarama bütçesini yönetmenin ilk aracı, botun hangi dizinlere hiç girmeyeceğini söylemektir. Arama sonuç sayfaları, sepet adımları, yazdırma görünümleri ve dahili betik dizinleri gibi değer üretmeyen alanları kapatın. Buna karşılık indekslenmesini istediğiniz içerikleri engellemediğinizden emin olun; yanlış bir kural, gelir getiren sayfaları görünmez kılabilir. Kural değişikliklerini yayına almadan önce bir test ortamında doğrulayın ve değişikliğin tarihini not edin; böylece sonraki log analizinde etkiyi karşılaştırabilirsiniz.
İç bağlantı ve site haritası düzeni
Botlar çoğunlukla bağlantıları takip ederek gezinir. Bu nedenle önemli sayfalarınıza giden iç bağlantıları güçlendirmek, tarama önceliğini doğrudan etkiler. Menü, kategori ve ilgili içerik bloklarında değerli sayfaları öne çıkarın; arşiv, etiket ve sayfalama bağlantılarını gereğinden fazla büyütmeyin. Site haritasını yalnızca indekslenmesini istediğiniz kanonik adreslerle güncel tutun ve son değişiklik tarihlerini doğru yansıtın. Loglarda taranan ama site haritasında yer almayan adresleri ve site haritasında olup hiç taranmayan sayfaları ayrı listeler halinde inceleyin; iki liste arasındaki fark genellikle en net iş listesini verir.
Sunucu tarafında hız ve kararlılık
Yanıt süresi, botun tarama hızını belirleyen en güçlü sinyallerden biridir. Önbellekleme, veritabanı sorgularının sadeleştirilmesi ve gereksiz yönlendirmelerin kaldırılması, aynı bütçeyle daha fazla sayfanın taranmasını sağlar. Yoğun saatlerde artan 5xx hatalarını izleyin; botlar hata oranı yükseldiğinde taramayı yavaşlatır. Bu nedenle teknik SEO çalışmalarını altyapı ekibiyle birlikte planlamak, yalnızca içerik tarafında yapılan düzenlemelerden daha kalıcı sonuç verir.
Ölçüm, raporlama ve sürekli iyileştirme
Tarama bütçesi tek seferlik bir proje değil, düzenli takip gerektiren bir süreçtir. Yaptığınız her değişikliğin etkisini ölçmediğiniz sürece hangi müdahalenin işe yaradığını bilemezsiniz.
Karşılaştırmalı takip için kontrol listesi
Aynı raporu her dönemde aynı yöntemle üretin. Şu başlıkları sabit tutmak, karşılaştırmayı anlamlı kılar:
- Bot başına toplam istek ve tekil URL sayısı
- Yanıt kodu dağılımı: 200, 301, 404, 5xx
- Parametreli adreslerin toplam tarama içindeki payı
- Ortalama ve en yavaş yanıt süreleri
- Site haritasındaki adreslerin ne kadarının taranmış olduğu
Değişiklikleri tarihleriyle birlikte not edin. Bir kuralı kaldırdığınız gün ile loglarda etkinin göründüğü gün arasında fark olacağını baştan kabul edin; kısa vadeli dalgalanmaları kalıcı sonuç sanmayın.
Analizi hangi sıklıkla tekrarlamalısınız?
Büyük kataloglara sahip sitelerde aylık, daha küçük sitelerde üç ayda bir analiz çoğu zaman yeterlidir. Ancak site yapısı değiştiğinde, yeni bir kategori açıldığında veya sunucu taşıması yapıldığında bu takvimi beklemeden tekrar bakın. Kampanya dönemlerinde parametreli adreslerin tarama payı hızla artabilir; bu dönemlerden sonra ek bir kontrol yapmak, bütçenin sessizce tükenmesini önler.
Nereden başlamalı?
Elinizde log yoksa ilk adım kayıtların düzenli ve okunabilir biçimde tutulduğundan emin olmaktır. Ardından otuz günlük bir kesiti inceleyip en çok istek alan dizinleri ve en sık dönen hata kodlarını çıkarın. Bu küçük başlangıç bile çoğu sitede somut kazanç sağlar. Log dosyası analizi, tarama bütçesi ve teknik SEO konularında ekibinizle birlikte yol almak isterseniz CSA Medya ile iletişime geçebilir, mevcut yapınıza uygun bir yol haritası çıkarabilirsiniz.
Öne çıkan noktalar
Önce botları doğrulayın, sonra sayı sayın
Log analizinde en sık yapılan hata, user-agent alanına güvenip sahte bot trafiğini gerçek sanmaktır. Ters DNS ve ileri DNS kontrolü ile IP aralığı doğrulamasını otomatikleştirin; yalnızca doğrulanmış istekleri rapora dahil edin. Aksi halde hem gereksiz yere optimizasyon yapar hem de gerçek bot davranışını gözden kaçırırsınız.
Bütçeyi tüketen üç kalıba odaklanın
Parametreli URL varyantları, iç arama ve sepet gibi dinamik sayfalar, yumuşak 404 ile uzun yönlendirme zincirleri tarama bütçesinin en büyük tüketicileridir. Loglarda bu üç kalıbın toplam istek içindeki payını ölçün. Pay yüksekse robots.txt kuralları, canonical etiketleri ve iç bağlantı düzenlemeleriyle kısa sürede belirgin kazanç elde edebilirsiniz.
Site haritası ile logları yan yana koyun
Site haritasındaki adreslerle gerçekten taranan adresleri karşılaştırmak, en net iş listesini üretir. Site haritasında olup hiç taranmayan sayfalar iç bağlantı ve öncelik sorununa, loglarda sık görünen ama haritada olmayan adresler ise gereksiz taramaya işaret eder. İki listeyi aynı tabloda tutmak karar vermeyi kolaylaştırır.
Sunucu hızını teknik SEO işi olarak görün
Yanıt süresi uzadığında botlar taramayı yavaşlatır; aynı zaman diliminde daha az sayfa taranır. Önbellekleme, sorgu sadeleştirme ve gereksiz yönlendirmelerin kaldırılması bütçeyi dolaylı ama güçlü biçimde iyileştirir. Bu nedenle log analizi bulgularını altyapı ekibiyle paylaşın ve hata oranlarını düzenli izleyin.
Sık sorulan sorular
Log dosyası analizi için hangi araçlar gerekir?
Özel bir yazılım şart değildir; sunucu loglarını tablo biçiminde açabilen bir araç ve temel filtreleme yeterlidir. Önemli olan sütunları standartlaştırmak, bot trafiğini ayırmak ve aynı raporu her dönemde aynı yöntemle üretmektir. Tablo uygulamalarında pivot ve filtre özellikleriyle dizin bazlı dağılımı, hata kodlarını ve yanıt sürelerini kolayca çıkarabilirsiniz.
Tarama bütçesi kaç sayfadan sonra sorun olmaya başlar?
Sabit bir sayfa sınırı yoktur; sorun sayfa sayısından çok taranan sayfaların niteliğiyle ilgilidir. Küçük bir sitede bile iç arama ve filtre sayfaları tarama isteklerinin büyük bölümünü kullanıyorsa bütçe israf ediliyor demektir. Bu nedenle loglarda toplam istek sayısına değil, değerli sayfaların ne kadarının taranmadığına ve hata kodlarının dağılımına bakın.
Googlebot log dosyamda hiç görünmüyorsa ne yapmalıyım?
Önce kayıtların gerçekten bot isteklerini tuttuğundan emin olun; bazı yapılandırmalar yalnızca belirli dizinleri veya durum kodlarını kaydeder. Log biçimini ve erişim kaydının kapsamını kontrol edin, ardından site haritasını yeniden gönderip birkaç hafta bekleyin. Hâlâ istek yoksa robots.txt kurallarını, sunucu güvenlik duvarı engellerini ve alan adı yönlendirmelerini sırayla inceleyin.
robots.txt ile taramayı kapatmak bütçeyi iyileştirir mi?
Doğru dizinlerde kullanıldığında evet, ama dikkatli olmak gerekir. İç arama, sepet ve yazdırma gibi değer üretmeyen alanları kapatmak bütçeyi serbest bırakır. Buna karşılık gelir getiren veya indekslenmesini istediğiniz sayfaları yanlışlıkla engellemek ciddi kayıp yaratır. Kuralı yayına almadan önce test ortamında doğrulayın ve değişiklik tarihini not edin.
Log dosyaları ne kadar süre saklanmalı?
Sağlıklı bir karşılaştırma için en az birkaç aylık kayıt tutmak faydalıdır; otuz günlük kesit tek başına mevsimsel dalgalanmaları gizleyebilir. Saklama süresini sunucu kapasitesine ve gizlilik politikalarınıza göre belirleyin. Kişisel veri içeren alanları analiz öncesinde ayıklamak veya maskelemek, hem uyum hem de dosya boyutu açısından pratiktir.
Site haritası göndermek tarama bütçesini artırır mı?
Site haritası bütçeyi doğrudan büyütmez; botun hangi adresleri öncelikli göreceğine yardımcı olur. Bütçenin büyüklüğü daha çok sitenin genel kalitesi, güncellik ve sunucu yanıt hızıyla ilgilidir. Yine de yalnızca kanonik ve indekslenebilir adresleri içeren güncel bir site haritası, botun gereksiz URL'lere sapmadan doğru sayfalara ulaşmasını kolaylaştırır.
