Robots.txt Dosyası Oluşturma ve Önemi
Robots.txt Dosyası Oluşturma ve Önemi
Google botları ve diğer arama motoru robotları için kritik bir
dosya olan robots.txt, web sitenizin hangi
sayfalarının indekslenmesi gerektiğini belirlemek için kullanılır. Bu dosya,
arama motorlarına sitenizdeki içeriklerin nasıl taranması gerektiğini bildirir.
Eğer bir robots.txt dosyası yoksa, bu durum sitenizin indekslenmeme riskiyle
karşı karşıya kalmasına yol açabilir.
Robots.txt Dosyasının İşlevi
Robots.txt dosyası, basit bir metin dosyasıdır ve arama motorlarına, hangi sayfaların taranabileceği veya hangi sayfaların göz ardı edilmesi gerektiği hakkında talimatlar verir. Örneğin, sitenizde kullanıcıların görmesini istemediğiniz sayfalar varsa, bu sayfaların taranmasını engellemek için robots.txt dosyanıza ilgili komutları ekleyebilirsiniz. Bu, sitenizin daha düzenli ve hedefli bir şekilde indekslenmesine yardımcı olur.
Neden Önemlidir?
Eğer hosting hizmetinizde robots.txt dosyası yoksa, arama motoru robotları hangi sayfaları inceleyeceğini bilemeyeceklerinden, sitenizin tamamını ya da bazı bölümlerini indekslemeyebilir. Bu durum, SEO (arama motoru optimizasyonu) açısından ciddi sorunlara yol açabilir. Sitenizin arama motorlarındaki görünürlüğü azalır ve potansiyel ziyaretçileriniz bu nedenle sitenizi bulamayabilir. Sonuç olarak, bu durum site sahipleri için gereksiz yere can sıkıcı ve maddi kayıplara neden olabilecek bir durum oluşturur.
Örnek kod aşağıdaki gibi olacaktır.
Örnek 1 :
User-agent: *
Disallow:/wp-admin/
Disallow:-wp-includes/
Sitemap: http://www.siteadı.com/sitemap.xml
Örnek 2 :
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-includes/
Sitemap: http://www.siteadı.com/sitemap.xml
Örnek 3 :
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /recommended/
Disallow: /comments/feed/
Disallow: /trackback/
Disallow: /wp-content/cache/
Disallow: /index.php
Disallow: /xmlrpc.php
Disallow: /wp-content/plugins/
Disallow: /category/*/*
User-agent: NinjaBot
Allow: /
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://www.siteadı.com/sitemap.xml
Örnek 4 :
User-agent: Googlebot
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
User-agent: Googlebot-Image
Disallow: /wp-includes/
User-agent: ia_archiver
Disallow: /
User-agent: duggmirror
Disallow: /
Sitemap: http://www.siteadı.com/sitemap.xml
Belirtilen
kod WordPress için standart olan robots.txt komutudur. Belirtilen komutları
artırabilir veya arama motoruna özel komutlar verebilirsiniz. Bunun için
internette bir çok hazırda robots.txt dosyası bulabilmeniz de mümkündür.
Ancak
kendiniz oluşturmak istiyorsanız bir not defteri oluşturarak adını robots.txt
olarak değiştirin. Daha sonra yukarıda belirtilen kodu not defterine
yapıştırarak kaydedin. Son olarak Ftp paneline girerek sitenin bulunduğu
dizinin içine sürükleyerek bırakın.
Eğer Linux hosting kullanıyorsanız dizininiz httpdocs adlı bir klasörde yer alır. Eğer hosting Linux değil de Asp veya Windows ise ana dizin genelde wwwroot adlı bir klasörde bulunur. Httpdocs klasörüne girerek robots.txt dosyasını içine sürükleyerek bırakın.
