Robots.txt Dosyası Nasıl Oluşturulur?
Google botları ve diğer arama motoru robotları için kritik bir dosya olan robots.txt, web sitenizin hangi sayfalarının indekslenmesi gerektiğini belirlemek için kullanılır. Bu dosya, arama motorlarına sitenizdeki içeriklerin nasıl taranması gerektiğini bildirir. Eğer bir robots.txt dosyası yoksa, bu durum sitenizin indekslenmeme riskiyle karşı karşıya kalmasına yol açabilir.
Aradığın Her Konuda, Önce Tavsiyemizi Dinle!
Robots.txt Dosyasının İşlevi
Robots.txt dosyası, basit bir metin dosyasıdır ve arama motorlarına, hangi sayfaların taranabileceği veya hangi sayfaların göz ardı edilmesi gerektiği hakkında talimatlar verir. Örneğin, sitenizde kullanıcıların görmesini istemediğiniz sayfalar varsa, bu sayfaların taranmasını engellemek için robots.txt dosyanıza ilgili komutları ekleyebilirsiniz. Bu, sitenizin daha düzenli ve hedefli bir şekilde indekslenmesine yardımcı olur.
Neden Önemlidir?
Eğer hosting hizmetinizde robots.txt dosyası yoksa, arama motoru robotları hangi sayfaları inceleyeceğini bilemeyeceklerinden, sitenizin tamamını ya da bazı bölümlerini indekslemeyebilir. Bu durum, SEO (arama motoru optimizasyonu) açısından ciddi sorunlara yol açabilir. Sitenizin arama motorlarındaki görünürlüğü azalır ve potansiyel ziyaretçileriniz bu nedenle sitenizi bulamayabilir. Sonuç olarak, bu durum site sahipleri için gereksiz yere can sıkıcı ve maddi kayıplara neden olabilecek bir durum oluşturur.
Örnek kod aşağıdaki gibi olacaktır.
Örnek 1 :
User-agent: *
Disallow:/wp-admin/
Disallow:-wp-includes/
Sitemap: http://siteadı.com/sitemap.xml
Örnek 2 :
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-includes/
Sitemap: http://siteadı.com/sitemap.xml
Örnek 3 :
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /recommended/
Disallow: /comments/feed/
Disallow: /trackback/
Disallow: /wp-content/cache/
Disallow: /index.php
Disallow: /xmlrpc.php
Disallow: /wp-content/plugins/
Disallow: /category/*/*
User-agent: NinjaBot
Allow: /
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://siteadı.com/sitemap.xml
Örnek 4 :
User-agent: Googlebot
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
User-agent: Googlebot-Image
Disallow: /wp-includes/
User-agent: ia_archiver
Disallow: /
User-agent: duggmirror
Disallow: /
Sitemap: http://siteadı.com/sitemap.xml
Belirtilen kod WordPress için standart olan robots.txt komutudur. Belirtilen komutları artırabilir veya arama motoruna özel komutlar verebilirsiniz. Bunun için internette bir çok hazırda robots.txt dosyası bulabilmeniz de mümkündür.
Ancak kendiniz oluşturmak istiyorsanız bir not defteri oluşturarak adını robots.txt olarak değiştirin. Daha sonra yukarıda belirtilen kodu not defterine yapıştırarak kaydedin. Son olarak Ftp paneline girerek sitenin bulunduğu dizinin içine sürükleyerek bırakın.
Eğer Linux hosting kullanıyorsanız dizininiz httpdocs adlı bir klasörde yer alır. Eğer hosting Linux değil de Asp veya Windows ise ana dizin genelde wwwroot adlı bir klasörde bulunur. Httpdocs klasörüne girerek robots.txt dosyasını içine sürükleyerek bırakın.
