Mengatur Robots.txt Di WordPress

Agar blog kita dirayapi sempurna oleh bot-bot Google, Bing, Yandex dan lain sebagainya. Ada baiknya kita membuat file robots.txt. Di blog WordPress saya, saya menggunakan plugin KB Robots.txt untuk membuat dan mengatur robots.txt. Sebenarnya membuat file robots.txt juga bisa dilakukan lewat cpanel, namun saya malas untuk membuka cpanel hosting saya. Heheh.. Makanya, saya menggunakan plugin untuk membuat file robots.txt saya.

Saya tidak tahu pasti, settingan robots.txt seperti apa yang membuat blog WordPress kita berada diposisi yang bagus. Namun, selama menggunakan blog WordPress saya mengatur robots.txt seperti itu-itu saja. Dan alhamdulillah tidak ada masalah dalam posisinya di Google. Ada pun pengaturan robots.txt saya di blog WordPress saya, yaitu:

User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*?
Disallow: /*?replytocom
Disallow: /*?comments=true$
Disallow: /*?postcomment=true$
Disallow: /*page=*
Disallow: /*pg=*
Disallow: /*/2$
Disallow: /*/3$
Disallow: /*/4$
Disallow: /*/5$
Disallow: /*/6$
Disallow: /*/7$

User-agent: duggmirror
Disallow: /

User-agent: BlackWidow
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: HTTrack Website Copier
Disallow: /

User-agent: HTTP Weazel
Disallow: /

User-agent: Leech
Disallow: /

User-agent: Offline Commander
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /trackback/
Disallow: /feed/
Disallow: /author/
Disallow: /search/
Disallow: /tags/
Disallow: */feed/
Disallow: /*/feed/rss/$
Disallow: /*?*
Disallow: /?s=*

Sitemap: http://m.fadhly.net/sitemap.xml

Nah, itulah pengaturan robots.txt di blog WordPress saya. Bagaimana dengan anda? Pengaturan seperti apa yang anda buat di robots.txt anda? Adakah sebuah pengaturan khusus? 🙂

Updated:

Fadhly

Like Facebook: Fadhly - Follow Twitter: @MF4dhli - Follow Instagram: @MF4dhli Oke! Terima kasih!

Satu gagasan untuk “Mengatur Robots.txt Di WordPress

  • Mei 24, 2015 pukul 9:37 PM
    Permalink

    Selama 6 bulan website saya tidak muncul di pencarian keyword apapun dan setelah menginstal plugin KB robots.Txt dan saya bersyukur sudah terindex pada keyword TOKO SOLO tapi deskripsinya tidak muncul dan yang mau sya tanyaken bagaimana caranya agar deskripsi itu bisa muncul dan mohon saran nya. Terimakasih

    Balas

Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan.