Tarama bütçesi, bilinen yaygın adıyla crawl budget, Google botlarının belirli periyotlarda ziyaret ettiği bir web sitesinde günlük olarak taradığı ve dizine eklediği sayfa sayısını ifade eden kavramdır. Buradaki bütçe kelimesinin maddi bir karşılığı yoktur. Botların sitenizi taramak için harcadığı zaman ve bu zaman diliminde taranan sayfa sayısı bu kavramı tam olarak ifade eder. Teknik seo tarafını da ciddi anlamda etkileyen bu kavram birçok farklı değişkene bağlı olarak ortaya çıkar. Günlük olarak değişebilen crawl budget değeri dinamiktir, dolayısıyla değişiklikler muhtemeldir. Bu içerikte detaylı olarak Tarama Bütçesi (Crawl Budget) Nedir ve Nasıl Optimize Edlir? konusunu paylaşacağım.
Tarama Bütçesi (Crawl Budget) Nedir?
Tarama bütçesi, Googlebot gibi arama motoru tarayıcılarının bir web sitesini ne sıklıkla ve ne kadar derinlemesine tarayabileceğini belirleyen bir kavramdır. Bu bütçe, iki temel faktörün birleşiminden oluşur:
Tarama Talebi (Crawl Demand):
Google’ın sitenizdeki sayfaları ne kadar sık taramak istediğidir. Genellikle, sitenizdeki içeriklerin ne kadar güncel ve popüler olduğuna bağlıdır. Örneğin, sık güncellenen bir haber sitesi daha yüksek tarama talebine sahip olabilir.
Tarama Kapasitesi (Crawl Rate Limit):
Googlebot’un sitenizi ziyaret ederken sitenizin sunucusuna zarar vermemek için koyduğu bir sınırdır. Sunucu hızınız, performansınız ve tarayıcıların sitenize erişimde yaşadığı sorunlar bu limiti etkileyebilir.
Bu iki faktörün birleşimi, arama motorunun sitenizde ne kadar sayfayı tarayacağını belirler.
Google Örümcekleri (Google Bot) ve Çalışma Prensibi
Tarama bütçesi kavramını tam anlamıyla oturtabilmek için bilmemiz gereken bazı terimler var.
Crawling: tarama. Google botlarının ya da örümceklerinin web sitenizdeki sayfaları ziyaret etmesi.
İndexing: Google dizinine ekleme. Web sitenizi ziyaret eden botların, sitenizi arama sonuçlarında göstermeden önce anlamlandırması ve işlemesi.
Ranking: Sıralama. Taranan ve indexlenen sayfalarınızın arama sonuçlarında yer alması.
Google botları internette tarama yaparken yeni oluşturulan ya da güncellenen web sayfalarını periyodik olarak ziyaret eder. Burada hem yeni keşfedilen sayfalar hem de mevcut olup güncelenen sayfalar taranır. Taranan sayfalar anlamlandırılıp indexlendikten sonra, belli başlı sıralama faktörlerine göre konumlandırarak arama sonuçlarında yer verir. Tam olarak burada crawl budget tespiti için sitenizin teknik seo anlamında yeterliliği ve işlevselliği belirleyici olur. Sitenize gelen bağlantılar, robots.txt dosyası ve dizin yapısı, site haritası, kullanılan yönlendirici tagler gibi faktörler Google’ın sitenize bir değer atfetmesinde belirleyici olur.
Tarama Bütçesi Nasıl Hesaplanır?
Tarama bütçesi hesaplamanın basit bir formülü bulunuyor. Tüm bu verilere Google Search Console üzerinden erişmeniz mümkün.
Dizine eklenen toplam sayfa sayısına Search Console panelinden Dizin Oluşturma – Sayfa Sayısı adımından ulaşıyoruz.
Günlük taranan sayfa sayısına ise yine Search Console panelinden Ayarlar -Tarama İstatistikleri Raporu – Toplam Tarama İsteği alanından ulaşıyoruz.
Crawl Budget Formülü:Tarama bütçesi değeri = Dizine eklenen toplam sayfa / Günlük taranan sayfa
Örneğin 1200 dizine eklenen toplam sayfamız olsun. Günlük taranan sayfa sayımızda ortalama 250
1200/250=4.8
İdeal Tarama Bütçesi Oranı Kaç Olmalı?
İdeal tarama bütçesi rakamı sıfıra ne kadar yakın olursa o kadar iyidir. Buradaki değişkenler elbette çok fazla. Bu nedenle odaklanılması gereken şey günlük taranan sayfa sayısının ziyaret süresince optimum düzeyde olması. Rakam yükseldikçe sayfa sayınız ile tarana sayfalarınız arasındaki fark da artar. Burada da ihtiyaç duyduğunuz şey tarama bütçesinin verimli kullanılması için gereken işlemler yani optimizasyonudur.
Söylem olarak içinde bütçe barındırdığından kafalar bir yerde karışabilir. Burada söz konusu olan bütçenin maddi bir karşılığı yok. Bu nedenle bütçeyi artırmak gibi bir yanılgıya kapılmayın. Amacımız tarama bütçesini düşürmek.
Tarama Bütçesini Etkileyen Faktörler Nelerdir?
Tarama bütçesini belirleyen faktörler aslında bir web sitesinde ideal senaryoda iyileştirilmesi gereken maddeler. Bu nedenle burada bir mucizeden ya da daha önce hiç duyulmamış şeylerden bahsetmeyeceğiz.
Unutulmaması gereken kullanıcıya iyi bir deneyim sunan bir web sitesinin tarama bütçesi optimizasyonunu sağlamak oldukça kolaydır.
Tarama Bütçesini Etkileyen Faktörler Nelerdir?
Tarama bütçesini etkileyen faktörler, Googlebot gibi arama motoru tarayıcılarının bir web sitesini ne sıklıkta ve ne kadar kapsamlı tarayacağını belirler. Bu faktörleri doğru anlamak, tarama bütçesini optimize etmek için kritik öneme sahiptir. İşte tarama bütçesini etkileyen ana faktörler:
1. Sunucu Performansı
Sunucunun cevap döndüğü süre, sitenin yüklenme hızını doğrudan etkiler. Kaliteli bir sunucu hayat kurtarır.
• Site Hızı:
Hızlı yüklenen bir site, Googlebot’un daha fazla sayfayı taramasına olanak tanır. Yavaş bir site ise tarama limitini düşürebilir.
• Sunucu Kapasitesi:
Sunucunuzun tarayıcı botların isteğini ne kadar iyi karşılayabildiği de önemlidir. Aşırı yüklenme varsa, tarama kapasitesi sınırlanabilir.
2. Site Büyüklüğü ve Yapısı
Sayfa sayısı, içerik sayısı, alt yapı, kod yapısı bunlar tamamen sitenin büyüklüğü ve performansıyla ilgilidir. Aynı şekilde indexlenen sayfa sayısı da bu performansı etkileyen bir parametre. Botlar sadece yeni keşfettikleri sayfaları taramıyor, güncelleme alan sayfaları da tarıyor. Güncellenen ya da yeni eklediğiniz sayfanın daha hızlı indexlenmesi için Search Console üzerinden url’nizi Google’a bildirebilirsiniz. Gereksiz sayfaların indexlenmesini engellemek de botların eforunu doğru harcamasını destekleyeceğinden kullanılan bir yöntemdir.
• Toplam Sayfa Sayısı:
Çok sayıda sayfası olan siteler (örneğin e-ticaret siteleri), tarama bütçesi açısından daha fazla rekabet içindedir. Gereksiz sayfalar tarama bütçesini boşa harcayabilir.
• Site Hiyerarşisi:
Derin bir site yapısı (çok fazla alt klasör veya tıklama gerektiren sayfalar) Googlebot’un önemli sayfalara erişimini zorlaştırabilir.
3. İçerik Kalitesi
• Yinelenen İçerik (Duplicate Content):
Aynı veya çok benzer içeriklere sahip sayfalar tarama bütçesini boşa harcar.
• Zayıf İçerik (Thin Content):
Az bilgi veren veya düşük kaliteli içerik, Googlebot’un o sayfalara öncelik vermemesiyle sonuçlanır.
4. URL Yönetimi
• Dinamik URL’ler ve Parametreler:
Gereksiz parametrelerle dolu veya yinelenen dinamik URL’ler tarama bütçesini etkileyebilir.
• Yönlendirme Zincirleri:
Çok sayıda yönlendirme (ör. 301 veya 302) Googlebot’u yavaşlatır ve tarama kapasitesini boşa harcar.
5. Bozuk Sayfalar
• 404 Hataları ve Bozuk Bağlantılar:
Çok fazla 404 hatası veya bozuk bağlantı, tarama bütçesinin verimsiz kullanılmasına neden olur.
6. Sitenin Güncellenme Sıklığı
• Yeni ve Güncel İçerik:
Sık sık yeni içerik eklenen veya mevcut içerikleri güncellenen siteler, daha yüksek tarama talebine sahip olur.
• Durağan Siteler:
Uzun süre hiç değişmeyen sitelerin tarama talebi düşebilir.
7. Sitemap (Site Haritası) Kullanımı
Botların sitenizde hangi sayfaları taraması gerektiğini söyleyen site haritaları mümkünse xml formatta ve standart url yapısı ile oluşturulmalı.
• XML Sitemap:
Google’a rehberlik eden bir site haritası sunulması, önemli sayfaların daha hızlı taranmasını sağlar.
• Hatalı veya Eksik Sitemap:
Güncel olmayan veya hatalar içeren bir sitemap, tarama bütçesini olumsuz etkileyebilir.
8. Robots.txt Dosyası
• Doğru Kullanım:
Robots.txt dosyası, tarayıcıların taramasını istemediğiniz sayfaları belirtmek için kullanılır. Doğru optimize edilmezse önemli sayfaların taranmasını engelleyebilir.
• Aşırı Kısıtlamalar:
Gereğinden fazla engelleme, tarayıcıların sitenizi anlamasını zorlaştırabilir.
9. Alan Adı ve Site Güveni
• Domain Otoritesi:
Güçlü bir alan adına sahip siteler genellikle daha yüksek tarama talebine sahiptir.
• HTTPS Kullanımı:
Güvenli protokol (HTTPS) kullanan siteler, tarama açısından avantaj sağlayabilir.
10. Harici Faktörler
• Backlinkler:
Daha fazla ve kaliteli backlinke sahip sayfalar, Googlebot’un o sayfalara öncelik vermesine neden olur.
• Kullanıcı Etkileşimi:
Daha popüler ve sık ziyaret edilen sayfalar, tarama talebini artırabilir.
Tarama Bütçesi Optimizasyonu Neden Önemlidir?
Tarama bütçesi optimizasyonundaki temel amacımız web sitemizi ziyaret eden Google botlarına optimum sürede maksimum sayıda sayfamızı taratmak. Bunu da botları önemli sayfalara yönlendirirken, ilgisiz içerikleri kaldırarak, bütçeyi verimli kullanmak için yapıyoruz. Kullanıcıya olumsuz bir deneyim yaşatan, hemen çıkma oranlarının yüksek olduğu, seo stratejisi olmayan sayfaları iyileştirerek sitemize katkı sağlamak dolayısıyla bütçemizi verimli kullanmak temel amacımız.
Tarama Bütçesi Optimizasyonu Nasıl Yapılır?
Optimizasyon işlemine başlamaya karar verdiğinizde ilk yapmanız gereken rapor ve analizlerden faydalanmak olmalı. Bunun için de Google Analytics ve Search Console araçlarından mutlaka faydalanmalısınız. İhtiyaç duyduğunuz noktada Yandex Metrica’dan da faydalanabilirsiniz.
Sitenizin link bağlantılarını ve url yapısını analiz edin. Kırık ya da yetim bağlantılardan sitenizi arındırın, site haritalarınızı güncel tutun. Site içi bağlantılarınızı iyi organize edin ve yapılandırın. Bağlantılarla ve url yapısı ile ilgili durum analizine screaming frog aracını kullanarak ulaşabilirsiniz.
Robots.txt dosyanızı yapılandırın ve mutlaka botlara yardımcı olacak şekilde düzenleyin.
Sitenizin sayfa yüklenme hızını periyodik olarak test edin, gerekiyorsa hızlandırın. Burada da Search Console verilerinden ve Google Speed Test verilerinden faydalanabilirsiniz.
Kaliteli bir sunucu hizmeti alın.
Mobil kullanıcı deneyiminizi iyileştirin, optimize edin.
Tarama Bütçesini Optimize Etmek için İpuçları
1. Gereksiz URL’leri Engelleyin:
Robots.txt dosyasını kullanarak taranmasını istemediğiniz gereksiz sayfaları engelleyin (örneğin, filtreleme parametreleri veya arama sonuç sayfaları).
2. Kaliteli İçeriğe Odaklanın:
Yinelenen veya zayıf içerikleri kaldırın ya da birleştirin. Bu, arama motorlarının daha önemli sayfalarınıza odaklanmasını sağlar.
3. Sayfa Hızını Artırın:
Hızlı yüklenen sayfalar, Google’ın daha fazla sayfayı daha kısa sürede taramasına olanak tanır. Bu nedenle, site hızını optimize etmek önemlidir.
4. Düzgün URL Yapısı Kullanın:
Karmaşık veya gereksiz parametreler içeren URL’lerden kaçının.
5. Sitemap ve Dahili Bağlantılar:
Google’a rehberlik etmek için XML site haritaları kullanın ve sayfalar arasında güçlü bir dahili bağlantı yapısı oluşturun.
6. Bozuk Bağlantıları Düzeltin:
404 hataları gibi bozuk bağlantılar, tarama bütçesini boşa harcar. Bu nedenle düzenli olarak bu hataları kontrol edin ve düzeltin.
Tarama Bütçesi Optimizasyonu Kimler için Daha Önemlidir?
Büyük Siteler: Binlerce veya milyonlarca sayfası olan e-ticaret, haber veya veri tabanlı siteler.
Sık Güncellenen Siteler: Yeni içerikler ekleyen ya da düzenli olarak içeriklerini güncelleyen siteler.
Düşük Performanslı Siteler: Yavaş sunucular veya teknik SEO sorunları olan siteler.
Eğer sitenizin tarama bütçesini doğru optimize ederseniz, Google’ın en değerli sayfalarınıza odaklanmasını sağlayarak sıralamalarda önemli bir avantaj elde edebilirsiniz.
