WordPress İçin Robots.txt Örneği

Robots.txt Nedir?

Robots.txt dosyası, kök dizinde bulunan bir çeşit dosyadır. Bu dosyanın görevi, arama motorlarının ilgili site için hangi dosya, sayfa ya da yazıların taranıp taranmayacağına karar vermektir. Bu bir tür metin belgesidir (.txt) ve birazdan bunu kurgulayıp Wordpress sitemize nasıl entegre edeceğimizi öğreneceğiz.

Normalde robots.txt dosyasını oluşturmamız zorunlu bir şey değildir. Fakat biz SEO performansımıza biraz yatırım yapmak istiyorsak kullanmayı düşünebiliriz.

Bu dosyanın temelde birkaç önemi vardır. Örneğin, indexlemek istemediğiniz, başka bir deyiş ile arama motoru sonuç sayfalarında (SERP), görünmesini istemediğiniz içerikleriniz için bunu kullanabilirsiniz. Ya da robotların web sitenize yaptığı isteği sınırlamak için kullanabilirsiniz.  Çünkü tarama bütçesini (Crawl budget) daha verimli şekilde kullanmanız gerekir.

İPUCU: Tarama Bütçesi (Crawl Budget), arama motoru robotlarının tarayabileceği web sayfalarının sayısıdır. Gereksiz olduğunu düşündüğünüz sayfalarınız var ise bunu index’e kapayabilirsiniz.

WordPress Sitemiz İçin Robots.txt Dosyası Nasıl Oluşturulur?

WordPress siteler için robots.txt dosyası oluşturmanın çeşitli yolları vardır. Her biri aynı kapıya çıkacağı için yönteminin pek bir önemi yoktur. Fakat ben mantığını kavramak adına robots.txt dosyanızı kendiniz oluşturmanızı öneririm.

Öncelikle bu dosyayı oluşturmak için çeşitli yollar bulunur. Bunun için bir web site, bir uygulama ya da bir program kullanabilirsiniz. Ancak dediğim gibi ben işin mantığını kavramanız adına bunu sıfırdan size öğreteceğim. Akabinde içinize sine sine, kendi dilediğiniz şekilde bu dosyayı optimize edebileceksiniz.

Öncelikle masaüstümüzde hemen bir tane metin belgesi oluşturarak başlayalım. Dosya adımız, robots.txt olacaktır. Fakat dikkatli olun. Robots, dosyamıza verdiğimiz isimdir ve .txt ise dosyamızın yani metin belgemizin uzantısıdır. Eğer dosyalarınızın uzantılarını görmeyi aktif hale getirmişseniz sorun değil. (Windows için, Bilgisayar> Görünüm> Gizli Öğeler yolunu izleyerek aktif hale getirebilirsiniz.)

UYARI: İzin verilen dosya boyutu 500 KB’dır. Çok olumsuz ve anormal sonuçlar oluşmaması için bu limiti aşmanız önerilmez!

Evet, değerli arkadaşlar. Dosyamızın temelini attık ve şimdi sıra içerisini doldurmaya geldi. Bu aşamadan sonrasını lütfen dikkatli şekilde okuyun. Çünkü yanlış bir şekilde kurgu yapmanız halinde bu web sitenizde hataları beraberinde getirir.

WordPress için Robots.txt Dosyası Örneği

https://bugrayazar.com/robots.txt bu bağlantıya tıkladığınızda açılan dosyaya robots.txt diyoruz. WordPress siteler için bu dosyayı oluşturmak çok basit.

Adım Robotx.txt Dosyası Oluşturmak veya İndirmek

WordPress robots.txt örneği bağlantısına tıklayın ve bilgisayarınıza indirin. Site ismini değiştirmeyi unutmayın :)

yada kendiniz oluşturmak isterseniz kodları paylaşıyorum.

User-agent: *
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /attachments/
Disallow: /?attachment_id=*
Disallow: /?replytocom=*
Sitemap: https://bugrayazar.com/sitemap.xml

2. Adım Robots.txt Dosyasını Hostinge Yükleme

Hostinginizin yönetim paneline girerek, düzenlediğini robots.txt dosyasını. public_html klasörünün içine atın. Hostinginizin yönetim paneline www.siteadi.com/cpanel yazarak girebilirsiniz.  

Şifrelerinizin bilmiyorsanız hostinginizi satın aldığınız yerden hosting şifrelerinizi öğnerek giriş yapabilirsiniz.

3. Adım Robotx.txt dosyasını test etme ve Google’a Gönderme

https://google.com/webmasters/tools/robots-testing-tool bağlantısını tıklayarak devam edin.

Karşınıza çıkan bölümden oluşturduğunuz mülkü yani sitenizi bulup, seçin. Eğer listede siteniz yoksa veya liste bomboş gözüküyorsa Google Site Doğrulama yapmanız gerekiyor. 

Google Site Kaydı Nasıl Yapılır? yazımı okuyup sitenizi ekledikten sonra tekrar ilgili bölüme gidip kaldığınız yerden devam edebilirsiniz.

Sitenizi seçtikten sonra aşağıdaki gibi bir sayfa açılacak. Son sürümün güncellenme tarihi dediği tahmin edebileceğiniz gibi google’a gönderilen son robots.txt dosyasının tarihidir. Bizim bu tarihi güncelleyebilmemiz için sağ altta kırmızı ok ile işaretlediğim GÖNDER butonuna basmamız gerekiyor. Bu butona bastıktan sonra sayfanızı yenileyin ve tarihin ve eklediğimiz kodların güncellenip güncellenmediğini mutlaka kontrol edin. Eğer oluşturduğumuz robotx.txt dosyası ve tarih güncellenmişse işlem tamamdır :)

Sonuç :) 

Hazır Öğrenmişken Robots.txt Parametrelerini de Öğrenelim :)

User-agent:* (Bu kodumuz, arama motorlarına izin verip vermediğimizi ya da hangi arama motoruna izin verip vermediğimizi belirler.) Dilerseniz bunu birkaç örnek ile açıklayalım.

User-agent: Googlebot (Bu kodumuz ile Google botlarının taranmasına izin verdiğimizi ifade etmiş oluruz.)

User-agent:* (Bu şekilde kalacak olursa tüm arama botları sitemizi tarayabilir. Farklı bir stratejiniz yoksa ben bu şekilde kullanılmasını öneririm.)

Disallow (taranmaması gereken sayfa ya da dizinlerimizi ifade eder.)

Allow (Taranmasını istediğimiz sayfa ya da dizinlerimizi ifade eder.)

Hadi! Şimdi bunu birkaç örnek ile pekiştirelim;

Örnek 1:

User-agent:*

Allow:/

Bu örneğimizde, arama motoru botları tüm siteyi dizinine ekleyebilir ve tarayabilir. Özel bir taktiği olmayan web yöneticileri için idealdir.

Örnek 2:

User-agent:*

Disallow: /hakkimda

Bu örnekte, arama motorları sitemizin tamamını tarar, dizinine ekler. Fakat ‘hakkımda’ isimli sayfa hariç.

Örnek 3:

User-agent:*

Disallow:/

Bu örnekte ise arama motoru robotları, sitemizin taranmasını tümüyle reddedecektir. Eğer web adresinizi yeni açmışsanız, bir süreliğine bunu kullanabilirsiniz.