Robots.txt Dosyası Nasıl Oluşturulur?
Google botları ve diğer arama motoru robotları için kritik bir dosya olan robots.txt, web sitenizin hangi sayfalarının indekslenmesi gerektiğini belirlemek için kullanılır. Bu dosya, arama motorlarına sitenizdeki içeriklerin nasıl taranması gerektiğini bildirir. Eğer bir robots.txt dosyası yoksa, bu durum sitenizin indekslenmeme riskiyle karşı karşıya kalmasına yol açabilir.
Aradığın Her Konuda, Önce Tavsiyemizi Dinle!
Robots.txt Dosyasının İşlevi
Robots.txt dosyası, basit bir metin dosyasıdır ve arama motorlarına, hangi sayfaların taranabileceği veya hangi sayfaların göz ardı edilmesi gerektiği hakkında talimatlar verir. Örneğin, sitenizde kullanıcıların görmesini istemediğiniz sayfalar varsa, bu sayfaların taranmasını engellemek için robots.txt dosyanıza ilgili komutları ekleyebilirsiniz. Bu, sitenizin daha düzenli ve hedefli bir şekilde indekslenmesine yardımcı olur.
Neden Önemlidir?
Eğer hosting hizmetinizde robots.txt dosyası yoksa, arama motoru robotları hangi sayfaları inceleyeceğini bilemeyeceklerinden, sitenizin tamamını ya da bazı bölümlerini indekslemeyebilir. Bu durum, SEO (arama motoru optimizasyonu) açısından ciddi sorunlara yol açabilir. Sitenizin arama motorlarındaki görünürlüğü azalır ve potansiyel ziyaretçileriniz bu nedenle sitenizi bulamayabilir. Sonuç olarak, bu durum site sahipleri için gereksiz yere can sıkıcı ve maddi kayıplara neden olabilecek bir durum oluşturur.
Örnek kod aşağıdaki gibi olacaktır.
Örnek 1 :
User-agent: *
Disallow:/wp-admin/
Disallow:-wp-includes/
Sitemap: http://siteadı.com/sitemap.xml
Örnek 2 :
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-includes/
Sitemap: http://siteadı.com/sitemap.xml
Örnek 3 :
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /recommended/
Disallow: /comments/feed/
Disallow: /trackback/
Disallow: /wp-content/cache/
Disallow: /index.php
Disallow: /xmlrpc.php
Disallow: /wp-content/plugins/
Disallow: /category/*/*
User-agent: NinjaBot
Allow: /
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://siteadı.com/sitemap.xml
Örnek 4 :
User-agent: Googlebot
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
User-agent: Googlebot-Image
Disallow: /wp-includes/
User-agent: ia_archiver
Disallow: /
User-agent: duggmirror
Disallow: /
Sitemap: http://siteadı.com/sitemap.xml
Belirtilen kod WordPress için standart olan robots.txt komutudur. Belirtilen komutları artırabilir veya arama motoruna özel komutlar verebilirsiniz. Bunun için internette bir çok hazırda robots.txt dosyası bulabilmeniz de mümkündür.
Ancak kendiniz oluşturmak istiyorsanız bir not defteri oluşturarak adını robots.txt olarak değiştirin. Daha sonra yukarıda belirtilen kodu not defterine yapıştırarak kaydedin. Son olarak Ftp paneline girerek sitenin bulunduğu dizinin içine sürükleyerek bırakın.
Eğer Linux hosting kullanıyorsanız dizininiz httpdocs adlı bir klasörde yer alır. Eğer hosting Linux değil de Asp veya Windows ise ana dizin genelde wwwroot adlı bir klasörde bulunur. Httpdocs klasörüne girerek robots.txt dosyasını içine sürükleyerek bırakın.
Sıkça Sorulan Sorular
Robots.txt dosyası nedir?
Robots.txt dosyası, web sitelerinin kök dizininde bulunan ve arama motoru botlarına hangi sayfaların taranabileceğini veya taranamayacağını belirten bir metin dosyasıdır.
Robots.txt dosyası nasıl oluşturulur?
Robots.txt dosyası oluşturmak için bir metin editörü kullanarak 'User-agent' ve 'Disallow' direktiflerini içeren bir dosya hazırlayıp, bu dosyayı web sitenizin kök dizinine yüklemeniz gerekmektedir.
Robots.txt dosyasının önemi nedir?
Robots.txt dosyası, arama motorlarının hangi sayfaları indeksleyeceğini kontrol ederek, web sitenizin SEO performansını artırmaya yardımcı olur ve istenmeyen içeriklerin taranmasını engeller.
Robots.txt dosyası ile hangi sayfaları engelleyebilirim?
Robots.txt dosyası ile arama motorlarının erişimini istemediğiniz sayfaları veya dizinleri belirleyerek, bu sayfaların indekslenmesini engelleyebilirsiniz.
