Robots.txt Oluşturucu

Robots.txt Oluşturucu

Robots.txt oluşturucu ile arama motorlarının sitenizi daha iyi tarayıp indexleyebilmesi için gerekli olan bu dosyayı kolayca hazırlayabilirsiniz.

İnternet sitelerinin tarama bütçesini doğru optimize etmek bu ufak metin belgesi ile mümkündür. Robots.txt ile arama motorlarına iletilmesi gereken komutları sorunsuz bir şekilde yönetebilirsiniz.

Robots.txt Oluşturucu Ne İşe Yarar?

Arama motoru botları sitenizi ziyaret ettiğinde öncelikle kök dizine bakar. Burada Robots.txt dosyası olup olmadığını kontrol eder. Bu dosyayı bulursa içeriğini okuyup tarama işlemini ona göre gerçekleştirir.

Robots.txt, arama motorlarına nasıl tarama yapacakları noktasında yol gösterir. Bu dosya sayesinde web sitedeki tüm sayfalar ve bunların alt sayfaları doğru bir şekilde taranarak indexlenir. Böylece içeriklerinizin daha yüksek ziyaretçi oranına ve daha iyi sıralama pozisyonuna ulaşması kolaylaşır.

Öte yandan Robots.txt, arama motoru botlarına hangi sayfaların tarama dışı bırakılması gerektiğini de söyler. Ziyaret edilmesini istemediğiniz uzantıları, sayfaları, içerikleri bu metin dosyasında belirtebilirsiniz. Arama motorları çoğunlukla bu izinleri dikkate alarak çalışır.

Robots.txt dosyasında kullanılan temel komutlardan bazıları şunlardır:

• Disallow: Belli sayfaların ziyaret edilmesini engeller.
• User-agent: Hangi botların sayfayı ziyaret edeceğini bu parametre ile ayarlayabilirsiniz. Bütün botlara izin vermek istiyorsanız User-agent: * yazabilirsiniz.
• #: Programcılar için açıklama yazmak amacıyla tercih edilir.
• Crawl-delay: Botun tarama süresini sınırlandırır.

Robots.txt Oluşturma Aracı Nasıl Kullanılır?

Bu araç ile farklı botlara yönelik Robots.txt dosyası meydana getirebilirsiniz. Örneğin;

• Googlebot
• Google Image
• Yandex
• Google Mobil
• Baiduspider
• Ask/Teoma
• Nutch
• Bing
• Yahoo
• DuckDuckGo
• DMOZ Checker

Robots.txt oluşturma işlemi için şu adımları izleyin:

• Ziyaret süresi kısıtlamasını seçin. (İsterseniz herhangi bir süre kısıtlaması koymayabilirsiniz.)
• Site haritanız mevcutsa onun adresini girin. (XX.com/sitemap.xml gibi)
• Engellenecek resim, dizin veya sayfaları belirleyin. Bunlar tarama işlemine dâhil edilmeyecek.
• ‘Oluştur’ butonuna tıklayarak işlemi tamamlayın.

Robots.txt generator ile oluşturduğunuz dosyayı cihazınıza indirip sitenizin kök dizinine atabilirsiniz.