Robots.txt Nasıl Oluşturulur


robots-txt Robots.txt dosyamız sitemizin ana klasörünün altında bulunması gereken bir önemli bir dosyadır. Sitemizi indexlemek üzere ziyaret eden botlar ilk olarak bu dosyaya bakarlar. Bu dosya içerisinde hangi klasörlerimizin indexlenmeyeceğine karar veririz. Bu yüzden seo açısından oldukça önemlidir.

Bu dosyayı hemen yeni bir notpad dosyası açıp ismini “robots.txt” olarak değiştirerek oluşturabilir. Dosyanın içerisinde ise;

Tüm Dosyaları İndexlemesini istiyorsak:

User-agent: *
Disallow

Sadece “gizli” isimli klasörü indexlememesini istiyorsak:

User-agent: *
Disallow: /gizli/

Reklamlar

Bir Cevap Yazın

Aşağıya bilgilerinizi girin veya oturum açmak için bir simgeye tıklayın:

WordPress.com Logosu

WordPress.com hesabınızı kullanarak yorum yapıyorsunuz. Log Out / Değiştir )

Twitter resmi

Twitter hesabınızı kullanarak yorum yapıyorsunuz. Log Out / Değiştir )

Facebook fotoğrafı

Facebook hesabınızı kullanarak yorum yapıyorsunuz. Log Out / Değiştir )

Google+ fotoğrafı

Google+ hesabınızı kullanarak yorum yapıyorsunuz. Log Out / Değiştir )

Connecting to %s