SEO

Robots.txt Nedir, Nasıl Oluşturulur?

Robots.txt, web site yöneticileri  tarafından oluşturulan ve sitelerde tarama faliyetleri gerçekleştiren web robotlarının (Arama motoru botları) siteyi ne şekilde tarayacağının direktiflerle anlatıldığı dosyanın adıdır. Robots.txt dosyasının içerisinde barınan belirli web direktifleri ile site yöneticisi web robotlarını kontrol edebilir hale gelir.

Robots.txt kullanılarak istenmeyen botların site taraması engellenebilir veya ilgili site taramalara açılabilir. Ek olarak robots.txt kullanılarak hangi linklerin botlar takip edileceği ve hangi sayfaların taramalara dahil edileceği komutlar vasıtasıyla arama motoru botlarına veya sitede tarama gerçekleştiren harici web robotlarına aktarılır.

Robots.txt dosyası websitelerinin ana dizininde public_html klasöründe sabit olarak bulunur. Web robotlarının kılavuz dosyası olarak adlandırabileceğimiz bu dosya arama motoru botlarının bir site içerisinde ilk göz attığı yer olarak karşımıza çıkar. Site içerisinde robots.txt dosyası bulunmayan veya sağlıklı düzenlememiş siteler kapsam hatalarıyla, indexlenmeyen sayfalar ile veya arama motorlarında yavaş index alma süreçleriyle karşılaşırlar.

Wordpress kullanan siteler için robots.txt dosyasını oluşturmak görece diğer websitelerine göre daha kolaydır. Yoast SEO eklentisini kullanarak tek tıklama ile normal çalışan bir robots.txt dosyası oluşturabilirsiniz.

Wordpress sitelerde hızlıca robots.txt oluşturmak için YOAST SEO Ayarları isimli makalemize göz atabilirsiniz.

Robots.txt Nasıl Oluşturulur

Robots txt nasıl oluşturulur

Adındanda anlaşılacağı üzere Robots dosyası txt uzantılı bir dosyadır yani herhangi bir not defteri açarak ilgili dosyayı hazırlayabilir ve sitenizin ana dizinine ekleyebilirsiniz.

Klasik bir robots.txt dosyasında olması gereken ilk komut şu şekildedir;

Örnek 1

User-agent: *

Allow:/

Robots.txt dosyası içerisinde user-agent bölümü web robotlarını yani tarama botlarını doğrudan hedeflediğimiz bölümdür. Yani ilgili alan üzerinde hangi bota komut vermek istiyorsak o botun adını tam olarak user-agent: bölümüne yazıyoruz.

Özel olarak komut vermeyi düşündüğümüz bir bot yok ise bu bölümde * ifadesini kullanabilirsiniz. * ifadesi pek çok programlama dilinde olduğu gibi robots.txt dosyasındada hepsi, tamamı anlamında kullanılır.

Örneğini verdiğimiz ifade de siteyi bütün botların tarayıp indexleyebilir olduğunu robots.txt dosyası ile ifade etmiş oluyoruz. İlgili alanda yer alan Allow komutu türkçe izin ver anlamı taşımaktadır. Yani bütün botların siteyi taramasına ve indexlemesine izin veriyorum ifadesi taşır.

Robots.txt örneklerine devam edelim;

Örnek 2

User-agent:*

Disallow:/

Bu örnek de yer alan alan user-agent komutunun ne işe yaradığını yukarıda anlatmıştık. Yukarıda verdiğimiz örneğin aksine bu ifadede arama motoru botlarının sitemizdeki hiç bir içeriği taramasını istemediğimizi ve içeriklerimizin indexlenmesini istemediğimizi Disallow komutu ile belirtmiş oluyoruz.

Disallow komutu yine allow komutu gibi robots.txt üzerinde çok sık kullanacağımız ve hangi sayfa, içerik veya url lerin taranmasını istemediğimizi belirtmekte kullanılan bir komuttur.

Yeni kurulmuş ve ayarları yapılan sitelerde hızlıca robots.txt dosyası oluşturup yukarıdaki komutu ekleyerek sitenin arama motoru botları tarafından indexlenmesini engelleyebilirsiniz. Bu sayede istemediğiniz ve ayarları tamamlanmamış sayfaların Google da görünmesini engellemiş olursunuz.

Örnek 3

User-agent: Google-bot

Disallow: /ornek-url

Bu örnekte ise yukarıda yer alan örneklerden farklı olarak doğrudan Google-bot hedeflenmiş ve ilgili botun site içerisinde yer alan içeriği taramaması gerektiği söylenmiştir.

Bu komut sonrasında Google-bot ilgili sayfa url si ile başlayan linkleri hiç bir şekilde taramayacaktır. Yani /ornek-url/2021/xxxx şeklinde devam eden bir url de yine başında Disallow: bölümünde ifade edilen url yi barındırdığı için taramalara dahil edilmeyecektir.

Örnek 4

User-agent: *

Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/

Bu kullanımda yine yukarıda verdiğimiz örneklere benzer olarak web tarama botlarına aşağıda disallow formatında belirtilen 4 dosyayı taramamaları komutu verilmiştir.

Örnek 5

User-agent: *
Allow: /ornekdosya/site.html
Disallow: /ornekdosya/

Bu kullanım ise site içerisinde bir alanın botlar tarafından taranmasını istemediğiniz ancak içerisinden bir dosyanın taramalara dahil edilmesini istediğiniz durumlarda kullanılır.

Disallow komutu ile ilgili klasör taramaların dışına çıkarılırken Allow komutu ile site.html url si taramaya dahil edilir.

Örnek 6

User-agent: ahrefsbot

Crawl-delay: 120

Bu komut çok sık kullanılmasada özellikle büyük sitelerde taramaların belirli bir düzene koyulması amacıyla kullanılır. Klasik olarak user-agent bölümüne hangi bot hedefleniyorsa o belirtilir. Biz bu örnek ahrefs.com a ait olan ahrefsbot u hedefledik.

Crawl-delay:120 komutu ile ahrefsbot’a sitemizi 120 milisaniyede bir tara yada taramalarını 120 milisaniyede bir gerçekleştir bildirimi yapılır. Buradaki süreyi isteğiniz doğrultusunda arttırabilir ve istediğiniz arama motoru botlarının sitenizi çok daha yavaş şekilde taramasını sağlayabilirsiniz.

Robots.txt Dosyanıza Site Haritası Ekleyin

Moz robots.txt örneği

SEO dostu robots txt dosyası için önemli olan bir diğer komutta manuel olarak veya programlar vasıtasıyla oluşturduğunuz site haritasının sitemap: komutu ile eklenmesidir. Pek çok site robots.txt dosyasında düzenlemeleri doğru yapsada bu küçük ama önemli detayı atlıyor ve sitenin arama motorları tarafından çok daha hızlı taranması fırsatını kaçırıyor.

Robots.txt dosyasında izin verdiğiniz ve engellediğiniz alanları belirttikten sonra yapmanız gereken işlem, sitenizde oluşturduğunuz sitemap url sini robots txt ye eklemektir.

User-agent:*

Allow:/

Sitemap: https://www.dijitalzade.com/sitemap_index.xml

Örnek bir ideal robots.txt kullanımı bu şekilde olmalıdır. Siz sitenize göre ve isteğiniz doğrultusunda üstte yer alan allow ve disallow bölümünü oluşturmayı unutmayın.

Üstte yer alan görselde moz.com tarafından oluşturulan ideal bir robots.txt dosyasını görebilirsiniz.

 

Sonuç

Robots.txt bütün web yöneticilerinin muhakkak bir defada olsa duyduğu ancak çoğu zaman site sahipleri tarafından atlanan son derece önemli bir dosyadır. Özellikle SEO çalışmalarında sonuç elde etmek isteyen web yöneticileri sitenin taranma hızını çok ciddi boyutta arttıran ve arama motoru botlarını kontrol etmeye imkan tanıyan bu dosyayı mutlaka kullanmalıdır.

Bizde bu yazımızda Robots txt dosyasının ne olduğundan ve nasıl kullanıldığından detaylı olarak bahsetmeye çalıştık. Yukarıda verdiğimiz örnekler ideal bir Robots txt dosyası oluştururken ihtiyaç duyabileceğiniz ve her çeşit robots.txt yi oluşturmada kullanabileceğiniz ideal kullanımlardır.

SEO Çalışmalarında kullanılan farklı tekniklere göz atmak üzere SEO Bölümümüzü incelemeyi ihmal etmeyin.

Dijitalzade

Dijital Pazarlama | Siber Güvenlik | Wordpress | E-Ticaret | SEO ve çok daha fazlası

İlgili Makaleler

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

Başa dön tuşu
Kapalı