Teknik SEO

Tarama Bütçesi (Crawl Budget) Nedir?

Google botları sitelerin bütün sayfalarını her zaman için hızlı şekilde ziyaret etmez ve taramaz. Bu pek çok web yöneticisinin ve SEO uzmanının sıklıkla görüntülediği oldukça sık görülen bir durumdur.

Bazı durumlarda indexlenme ve taranma süreleri haftaları bulabilmektedir. Ve bu sancılı süreç özellikle haber ve anlık paylaşım ihtiyacı duyan blog siteleri için oldukça can sıkıcı olabilmektedir.

Bazı durumlarda iyi şekilde optimize ettiğinizi düşündüğünüz sayfalar dahi taranma sürecine dahil olmamakta ve potansiyel arama kullanıcılarının siteye çekilmesi süreci sekteye uğramaktadır.

Bu noktada taranma, indekslenme sorunlarının önüne geçmek için tarama bütçesinin optimize edilmesi şarttır. Bu makalede tarama bütçesi nedir ve nasıl optimize edilir detaylarıyla anlatmaya çalışacağız.

Tarama Bütçesi Nedir?

Tarama bütçesi (Crawl Budget), Google botlarının herhangi bir gün içerisinde sitenizde tarayacağı maksimum sayfa sayısına verilen genel bir isimdir.

Google örümceklerinin (botlarının), sitenizde tarayacağı yada taramakta olduğu sayfa sayısı genellikle stabil olmakla beraber sayıca yükselip alçalabilmektedir.

Sitenizin büyüklüğüne ve mevcuttaki teknik sağlığına göre Google botlarının sitenizde tarayacağı sayfa sayısı değişiklik gösterecektir.

A+ bir sitenin bir gün içerisinde 10.000 sayfası taranırken ortalama ve çok sayıda hatası olan bir sitenin büyüklüğüne bakılmaksızın 6 sayfası taranıyor olabilir.

Taranan sayfa sayısı ve taranma süreci, uzun vadede siteler için işlem gerektirmeden çözülebilecek bir problem iken özellikle kısa vadede düşük tarama bütçesine sahip optimize edilmemiş siteler için bu durum geç indekslenme sürecinin yaşanmasına sebep olabilmektedir.

Tarama Bütçesi Neden Önemlidir?

Herkesin bildiği son derece düz bir mantık ile tarama bütçesinin önemini açıklayabiliriz; Tarama yoksa indeksde yok, Indeks yoksa kullanıcıda yok.

Sitenizde yer alan sayfaların sayısına ve site genel sağlığına göre değişmek ile birlikte sitenizdeki sayfalar sitenizin tarama bütçesini geçiyor ise sitenizde indekslenmeyen yada çok sancılı şekilde indekslenen sayfalar mevcuttur.

Çoğu durumda websitelerinin harici işlemler yapmasına gerek kalmadan, aşağıda detaylıca açıklayacağımız temel SEO strateji ve tekniklerini uyguladığınız durumda, Google sayfalarınızı tarayacak ve indeksleyecektir.

Ancak çok sayıda yönlendirmenin, hatalar içeren sayfaların, kırık linklerin ve teknik anlamda iyi düzenlenmemiş bir site mimarisinin olduğu durumlarda geç indekslenme sorunları ile karşılaşmak  oldukça olasıdır.

Arama Motorları Neden Tarama Bütçeleri Kullanır?

Her arama motorunun özelliklede Google’ın internet dünyasında taraması gereken milyonlarca sayfa ve site olduğunu unutmayalım.

Artan internet kullanımına bağlı olarak gün içerisinde açılan ve her geçen gün artmakta olan çok yüksek seviyelerde ki site sayısı düşünüldüğünde Google gibi arama motorlarının siteleri ve tarama işlemlerini belirli limitlere oturtması sistemin işleyişinin sağlanabilmesi açısından oldukça önemlidir.

Tarama bütçeleri ile arama motorları önemli sayfa ve sitelerin taranma süreçlerini öne alarak önemli içerikler üreten otoriter ve sağlıklı sitelerin hızlıca indekslenerek kullanıcılar ile buluşmasını amaçlar. Tarama bütçeleri ile kalitesiz içerikler üreten ve SEO anlamında çok sağlıksız yüksek boyutlu ve optimize edilmemiş sitelerin içeriklerinin önemli sitelerden önce indekslenmesi ve kullanıcı ile buluşmasının önüne geçilmiş olur.

Sitenin otoritesi, teknik sağlığı ve sayfaların teknik büyüklüğü gibi temel etmenler siteye ayrılacak tarama bütçesinin belirlenmesinde temel rolü oynarlar.

Tarama Süreci Nasıl İşler?

Tarama bütçesi nedir, Tarama süreci nasıl işler
Resim Kaynağı: https://www.seobility.net/en/wiki/Search_Engine_Crawlers

Tarama sürecini başlatmak üzere siteyi ziyaret eden Google botu, site üzerinde yer alan bütün url leri taramak üzere alır ve bunları sırası ile birbiri ardına incelemeye ve taramaya başlar.

İlgili botlar sitenizde yer alan her url yi incelerken bu urlnin robots.txt dosyası üzerinde engellenmediğinden emin olmak ister ve ilgili teyiti robots.txt dosyası üzerinden sağlar. Bu nedenle sitelerde robots.txt dosyasının sağlıklı şekilde oluşturulması çok önemlidir.

Robots.txt nedir, nasıl oluşturulur? isimli makalemizi inceleyerek robots.txt oluşturma hakkında detaylı bilgiler alabilirsiniz.

Google botu tarafından taranan bir sayfanın üzerinde yer alan linkler Google botu tarafından takip edilir ve site içi linkler taranmak üzere “to-do-list” yani tarama listesine dahil edilir. Yazı içerisinde yer alan linklerin Google botları tarafından aktif olarak takip edilmesi site içi linkleme uygulamanın ne kadar önemli olduğunun en somut göstergesidir.

Google botlarının belirli bir sayfayı tarama listesine dahil etmesine sebep olabilecek çok sayıda dış etmen mevcuttur ancak en temelde linklerin site dışı platformlarda paylaşılması ve sayfa üstü yorumlar gibi kullanıcı etkileşiminin somut göstergeleri, Google botlarının ilgili sayfayı tarama bütçesine dahil etmesini sağlar.

Süreç salt kullanıcı etkileşimi ile ilerlemez ancak çoğu websitesi için tarama bütçesini geliştirme ve hızlı indekslenme yolunda kullanıcı etkileşimini arttırmak fayda sağlayacaktır.

Tarama Bütçesi Hangi Seviyelerde Sorunlu Olarak Kabul Edilir?

Günümüz Google tarama kapasitesi ve botların başarılı tarama sonuçlarına baktığımızda pek çok site için tarama bütçesi problemlerinin mevcut olduğunu söylemek güçtür.

Ancak somut bir örnek verebilmek adına tarama bütçesi sıkıntısı yaşayan yada yaşacak bir sitenin süreci genellikle şu şekilde ilerler;

Sitenizde mevcutta 10.000 sayfa olduğu bir senaryoda Google botları tarafından sitenizde günlük ortalama 100 sayfa taranıyor ise sitenizde tarama bütçesi problemleri olduğunu söylemek doğru olacaktır.

Çünkü hiç bir şey yapmadığınız bir durumda bu senaryoya göre günlük ortalama 100 sayfa tarayan Google botlarının sitenizin bütün sayfalarını tek tek tarayıp kontrol etmesi ortalama 90 gün süreceğinden bu süre herhangi bir site için oldukça yavaş ve sancılıdır.

Ortalama bir site için ideal tarama bütçesi 10.000 sayfanın olduğu bir senaryoda minimum 1000 ila 2000 tarama sayı seviyeleridir. İdeal bir tarama bütçesine sahip olmak isteyen websitesi için sayfa sayısı ile taranma sayısı oranı 7 ila 10 gün seviyesinin üstüne çıkmamalıdır.

Tarama Bütçesi Nasıl Kontrol Edilir? (Google Search Console)

Sitenizin geçmiş ve güncel olarak tarama sonuçlarını incelemek için Google Search Console aracını kullanabilirsiniz.

Tarama bütçesi kontrolünü sağlamak için ilk olarak Google Search Console hesabınıza giriş yapın.

Tarama bütçesi, Google Search Console Kontrolü

Açılan klasik Google Search Console ekranı üzerinde sol tarafta yer alan kontrol panelinde alt kısımda yer alan Eski araçlar ve raporlar seçeneğine tıklayın.

Tarama istatistikleri, Google Search Console

Açılan pencerede Tarama istatiskleri isimli seçeneğe tıklayarak kontrol panelini açın.

Tarama Bütçesi İstatistikleri

Açılan bu son sayfa, sitenizin tarama istatistiklerini görüntüleyecebileceğiniz son 90 günlük istatistik rakamlarını grafik üzerinden gösteren çok ideal bir alandır.

Açılan sayfanın en üstünde yer alan günlük taranan sayfa sayısı bölümü sitenizin taranmış en fazla sayısı, ortalama sayfa sayısı ve taranmış en düşük sayfa sayısının sonuçlarını içerir. Burada sitenizin 90 günlük sonuçlarını gün gün görüntüleyebilir ve ortalama sayfa tarama sayınızı öğrenebilirsiniz.

Tarama Bütçesi Nasıl Optimize Edilir?

Tarama bütçesini optimize etme süreci en temelde herhangi hiç bir tarama bütçesinin boşa harcanmadığından emin olma stratejisine dayanır. Bütün tarama bütçesini optimize etme girişimleri aslında SEO çalışmalarınında bel kemiğini oluşturduğundan yukarıda söylediğimiz gibi çoğu site için ekstrem optimizasyon çalışmalarına ihtiyaç duyulmaz.

Eğer yukarıda anlattığımız şekilde Search Console verilerinizi incelediğinizde tarama bütçesi problemine sahip olduğunuzu düşünüyorsanız aşağıda yer alan temel ve sıklıkla görülen optimizasyon problemlerini tek tek kontrol edin.

Websitenizde Yer Alan Hata Kodlarını Düzeltin

Tarama bütçenizi optimize etmek ve boşa harcanmayan tarama bütçeleri elde etmenin ilk adımı, sitenizde yer alan tüm sayfaların 200 (Hatasız Sayfa) ve 301 (Yönlendirilmiş Sayfa) kodlarına sahip olduğundan emin olmaktır.

Bu iki kodun dışında yer alan tüm 4xx 5xx kodları sitenizin sayfalarının ulaşılabilirlik problemine sahip olduğuna delalet eder ve tarama bütçelerinizi boş şekilde tüketir. Sitenizin hata içeren sayfalarını belirlemek için harici tarama programlarını (screaming frog, semrush, ahrefs, moz vb) ve server log kayıtlarını kullanabilirsiniz.

4xx hatası ile karşılaşan sayfalarınızı 301 redirection yöntemi ile çalışan sayfalara yönlendirebilir yada içerikleri çalışır şekilde güncelleyebilirsiniz. 5xx veren sayfalarınız ise genellikle sunucu kaynaklı sorunlara sahip olduğundan web hostinginizin güncel durumunu kontrol etmeli ve gerekiyorsa sunucunuzu değiştirmelisiniz.

Açılmayan sayfaların Google botları tarafından gereksiz yere taranması boş yere tarama bütçenizi tüketir ve sitenizin Google gözünde otorite kaybına sebebiyet verir.

Sitenizin Belirli Bölümlerini Taramaya Kapatın

Sitenizin sepet, kullanıcı sözleşmesi , teşekkürler, filtreleme ve site içi arama sonuçları gibi Google botları tarafından taranması ve indekslenmesi gerekmeyen sayfalarını robots.txt dosyanız üzerinden engelleyin.

Robots.txt dosyası kullanarak yapılacak engelleme sayesinde yukarıda anlattığımız süreç içerisinde Google botları robots.txt dosyanızı kontrol ederek tarama dışında tutmak istediğiniz sayfaları sürecin dışında tutacaktır. Bu sayede tarama bütçenizi optimal şekilde diğer sayfalar için kullanmış olursunuz.

Site Hızını Arttırın

Google tarafından pek çok kaynakta onaylandığı şekilde sitenizin genel hızında yaşanacak artışlar, Google botlarının sitenizi daha hızlı ve daha fazla taramasını sağlayacaktır.

Sitenizin güncel hız sonucunu Google Page Speed üzerinden test ederek site hızınızın arttırılması ile alakalı önerileri Google’dan alabilir ve bu alanlara yönelik çalışmalar gerçekleştirerek açılış hızlarınızı arttırabilirsiniz.

Site İçi Linklemeye Özen Gösterin

Google botları, tarama sürecini optimize etmek adına çok sayıda dış ve iç linke sahip sayfaların tarama sürecinde öne alınmasına ve öncelikli olarak taranmasına önem gösterir.

site içi linklemeTarama sürecinde sitenizin sayfalarını tarayan Google botları, taranmış sayfalar içerisinde yer alan site içi linkleri takip ederek bunları kuvvetli sinyaller olarak görür ve hızlıca tarama sürecine dahil ederler.

Bu sebeple tarama hızını arttırmak ve tarama bütçesini optimize etmek adına Google botlarına indekslenmesini istediğiniz sayfaların sinyallerini site içi linkleme uygulayarak verebilirsiniz.

Site içi linkleme nedir, nasıl yapılır? isimli makalemize göz atarak site içi linkleme ile alakalı tüm bilgilere erişebilirsiniz.

Birbirine Benzer İçerikleri Kaldırın

Tarama bütçenizi optimize etmek için ingilizce kaynaklarda geçtiği hali ile duplicate content yani birbirine benzeyen kopya içeriklerden kesinlikle uzak durun.

Google botları birebir aynı yada birbirine çok benzer şekilde oluşturulmuş ve aynı kelimede rekabet eden içerikleri sevmezler.  Bu noktada sitenizde yer alan içeriklerinizin url si, konusu, yazım şekli, anahtar kelime hedefi ve kullanıyorsanız etiketleri tamamen özgün ve kaliteli olmalıdır.

Yetim Sayfaları Optimize Edin

Yetim sayfaları yani herhangi hiç bir iç ve dış linke sahip olmayan sayfaları linkler oluşturarak destekleyin yada kaldırın.

Site içerisinde iç linkleme ile desteklenmemiş yada herhangi bir dış linke sahip olmamış sayfalar, Google botları tarafından ortalama sayfalara göre çok daha geç taranırlar. Bu sebeple sitenizde yer alan ve daha önce herhangi bir link ile desteklenmemiş sayfaları en azından iç linkleme methodu ile destekleyerek Google botlarının tarama listesine dahil edebilirsiniz.

Dijitalzade

Dijitalzade.com 2019 yılında SEO profesyoneli Oskay GÜNAÇAR tarafından kurulmuş olan bir Dijital Pazarlama ve SEO bloğudur. Sektör içerisinde çalıştığımız çok sayıda başarılı, büyük websitesinin yönetim ve geliştirme (SEO) süreçlerinden elde ettiğimiz uzmanlık ve deneyimlerimizi paylaşmayı amaçladığımız web sitemiz üzerinden doğru ve kaliteli bilginin kolay ulaşılabilir olmasını amaçlamaktayız.

İlgili Makaleler

7 Yorum

  1. Yeni açtığımız websitemize toplamdaa 25 kadar içerik girdik ancak yalnızca 4 tanesi indexlendi. Google gibi getir yaparak indexletmeye çalışıyoruz ancak hiç bir ilerleme kaydedemedik. Dediğiniz şekilde tarama bütçesini kontrol ettik ve o bölümde 21 yazdığını gördük yani sitemizin normal seviyesinde.

    İndex problemimiz neden kaynaklanıyor olabilir?

    1. Merhaba Kerim,

      Siteniz yeni açıldığından genel bir otorite düşüklüğü ve google botları tarafından düşük ziyaret görülmesi normaldir. Bu süreçte Google botları sitenizde yer alan içerikleri tarıyor ise (Server loglarından görüntüleyebilirsiniz) ancak dizine eklemiyor ise kontrol etmeniz gereken belirli alanlar mevcut. Bunlar;

    2. Robot.txt üzerinde sayfaların engellenip engellenmediğinin kontrol edilmesi
    3. Sayfaların kaynak kodlarında meta noindex etiketinin olup olmadığının kontrol edilmesi
    4. Search Console üzerinde yer canlı url test bölümünden url yi kontrol etmek ve varsa sorunları belirlemek.
    5. İndex problemi geçtiğimiz haftalarda Google tarafından onaylanmıştı. Bizimde pek çok müşterimizde benzer sorunlar vardı ve bu sorunlar şu an için geçmiş görünüyor. Bu sebeple problemin ana kaynağının siteniz olduğunu düşünmek gerekiyor.

      Canlı url testi ile içerik veya sitede herhangi bir problem olup olmadığını kontrol etmekte fayda var. Mobil uyumluluk, server hatası yada 404 gibi kodlar var ise düşük otoritedende kaynaklı Google geç dizin kaydı yapıyor olabilir.

      Probleminizi yine çözemez iseniz iletişim sayfasında yer alan bölümlerden ulaşabilirsiniz.

  2. Webmaster süreçleri ile uzun zamandır ilgiliyim şu son 1-2 aydır açtığım hiç bir siteyi google doğru düzgün indekslemiyor. Robots.txt , meta etiketlerinde ve site haritalarında problem yok ancak 15 içerik giriyorum google belki 1-2 tanesini indeksliyor.

    Bu sorunun önüne nasıl geçebiliriz?

    1. Merhaba,

      Robots.txt, site haritası ve meta etiketlerinizde sorun yoksa bakmanız gereken ilk işlem alanı konu içerisinde yer verdiğimiz ortalama taranan sayfa sayısıdır. Buradaki rakam sitenizin mevcuttaki sayfa sayısının üstünde ise veya 3 ila 5 günde bütün siteyi tarayabilecek seviyede ise bu alanda bir problem yoktur diyebiliriz.

      Bunların haricinde indekslenmeyen sayfalarınızı canlı url test aracı üzerinde kontrol ederek mobil uyumluluk, 404 gibi hatalara sahip olup olmadığını kontrol edebilirsiniz.

      Bu arada geçtiğimiz hafta indeks sorunları ile alakalı Google’dan bir itiraf geldi ancak bu sorun çok kısa sürede çözüldü yani şuan için sitelerinizin indekslenmemesi tamamen siteniz ile alakalıdır diyebilmek mümkündür.

  3. Merhaba

    Sitemizde kullandığımız paylaş butonlarındaki linkler üzerinden sitemizden çok fazla 301 redirect görünüyor. Bunları kaldırmak için nasıl bir yol izlemeliyiz neyi tavsiye edersiniz?

    1. Merhaba,

      Sitenizde kullandığınız paylaş butonlarının ?=xxx şeklinde otomatik linkleri tarama botları tarafından takip ediliyor ise takip edecebileceğiniz basit opsiyonlar bulunuyor.

      1. Paylaş butonlarını sitenizden kaldırarak bu redirect sorununa hızlı bir çözüm getirebilirsiniz.

      Aslında çoğu durumda bu paylaş butonlarını kullanmanıza gerek yok çünkü bu tarz işlemleri kullanıcı doğrudan linki kopyala yapıştır yolu ile hızlı şekilde çözebilmekte.

      2. Bu opsiyonda butonları kaldırmazsınız ancak butonların linklerini içeren url yapısını robots.txt üzerinden engelleyebilirsiniz. Bu sayede paylaş butonları aktif olarak kalır ancak taramaya dahil edilmez. Robots.txt üzerinde engellediğiniz bu link yapılarına harici platfomlardan link vermemeye özen gösterin.

      Robots.txt üzerinde engellensede farklı sitelerden yada site içinden linkleme yolu ile desteklenen linkler tarama botları tarafından tarama sürecine dahil edilebilir.

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

Göz Atın
Kapalı
Başa dön tuşu