Setting Robot.txt

Posted on January 10, 2012 by Admin

Robot.txt adalah sebuah file yang berada pada direktori root dari suatu situs atau blog yang berfungsi untuk mengontrol dan mengarahkan search engine untuk menjelajahi isi dari blog atau web kita. Jadi istilahnya ‘GUIDE’ yang akan mengantarkan serta menunjukan bagian mana saja yang perlu di index dan tidak perlu di index. Siapa yang tidak senang jika search engine sekelas google rajin mengunjungi blog atau web kita secara rutin untuk mengindex semua isi blog kita. Namun tanpa di sadari, kita justru membebani kerja search engine untuk mengindex seluruh isi dari blog kita termasuk folder-folder di cpanel yang seharusnya tidak perlu di index apalagi di tampilkan. Karena secara default, search engine akan menjelajahi seluruh isi yang ada di blog atau web.

Seharusnya tidak perlu seluruh bagian dari blog atau web harus di jelajahi seperti contohnya folder wp-admin, wp-content/cache, wp-content/plugins, wp-includes dan lain-lainnya itu tidak perlu harus di jelajahi karena tidak ada gunanya sama sekali dan akan membuat search engine harus membutuhkan waktu lama untuk sekedar menjelajahi blog atau web kita. Dengan memblokir direktori atau folder tertentu yang tidak perlu ini juga akan membuat blog kita lebih SEO, karena search engine tidak membutuhkan waktu lama untuk menjelajahi blog atau web kita. Jadi dengan mencegah search engine menjelajahi folder atau konten yang tidak perlu, maka kesempatan search engine untuk menjelajahi konten-konten prioritas akan menjadi lebih besar.

Dan disinilah peran penting dari sebuah file yang bernama robot.txt yaitu untuk menuntun search engine menjelajahi isi blog atau web kita. Biasanya file robot.txt sudah ada default di dalam root cpanel kita, namun settinganya masih default alias standard. Untuk membuat robot.txt caranya sangat mudah yaitu :

Buat file txt dari notepad atau editor kesayangan anda
Beri nama file tersebut robots.txt
Lalu isikan konfigurasi berikut ini :

User-agent: * Disallow: /cgi-bin/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins/

Disallow: /wp-content/cache/

Disallow: /wp-content/themes/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /trackback/ Disallow: /feed/

Disallow: /comments/

Sitemap: http://norjik.web.id/sitemap.xml

Sitemap: http://norjik.web.id/sitemap.xml.gz

Settingan robot.txt milik saya ini bertujuan untuk melarang search engine menjelajahi folder wp-admin, wp-includes, wp-content/plugins dan semua yang menggunakan tag Disallow. Dan pada 2 bagian akhir yang saya cetak tebal, sesuaikan dengan link sitemap anda. Setelah itu simpan dan upload ke root web atau publik html pada cpanel anda dan untuk melihat hasilnya buka http://alamatblog/robots.txt, selamat mencoba.