berguna atau tidak menggunakan robots.txt pada blog

berguna atau tidak menggunakan robot.txt, pertanyaan yang cukup sepele, The Robot Exclusion Standard, atau sering dibilang sebagai Robots Exclusion Protocol atau robot.txt protokol yaitu sebuah konvensi untuk mencegah web crawler bekerja sama dengan robot web lainya atau bagian dari sebuah website yang jika dilihat secara terbuka.

Robot sering digunakan mesin pencari untuk mengkategotikan dan mengarsipkan situs web atau web master untuk mengkoreksi Source code Dari beberapa artikel yang anda posting, penggunaan robot.txt ini sangat berguna untuk mendongrak SEO blog anda.

Tentunya berguna banget bagi blog anda suatu contoh ada halaman yang tidak ingin anda tampilkan kepada publik dan mesin pencari, maka kita bisa menggunakan / memanfaatkan fungsi dari robot.txt tersebut, fungsi dari robot.txt ini untuk memblokir halaman atau archive yang tidak ingin anda tmpilkan di mesin pencari mbah google intinya memblokir halaman tersebut,

Blogger sudah mendukung fungsi robot.txt ini dan ini menunjukan bahwa blogger semakin memudahkan kita untuk optimasi SEO blog kita. jika anda belum mengerti juga , anda bisa mendaftarkan blog anda di google webmaster, kaku kihat pada kesalahan perayapan, fungsi pemblokiran akan dilakukan oleh robot.txt tersebut.

Untuk Cara mengaktifkan Dan setting Robot.txt Mari kita simakberikut ini :

1. Login ke blogger anda
2. Klik => setelan => Preferensi penelusuran => seperti pada gambar berikut ini :

3. Pada tab perayapan dan pengindekan pilih robot.txt seperti yang terlihat pada gambar berikut :

4. dan masukan kode perintah di bawah ini kedalam kotak tersebut

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://maknyusblogger.blogspot.com/feeds/posts/default?orderby=UPDATED

Ganti URL : maknyusblogger.blogspot.com denagn URL blog anda
5. Klik simpan PERUBAHAN 

Berikut ini adalah seting Robot txt Untuk mencegah duplikat konten atau judul di blog Khususnya duplikat konten yang terjadi karena website/blog di akses dari mobile phone bisa anda coba dengan robot txt berikut ini :

User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /p/*
Disallow: /view/*
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Allow: /
Sitemap: http://urlanda.blogspot.com/feeds/posts/default?orderby=UPDATED 

Keterangan :
1. User-agent: Mediapartners-Google: User agent milik google menandakan bahwa blog ini partner dari google. Kode ini juga difungsikan untuk robot Google Adsense yang membantu mereka untuk menampilkan iklan yang relevan di blog Anda sesuai niche blog Anda.
2. Disallow: Yang tidak di perbolehkan tidak ada.
3. User-agent: Semua robot search engine/mesin pencari.
4. Disallow: /search: Tidak di perbolehkan merayapi folder seach dll, seperti search/label dan seterusnya. Itu berarti link memiliki kata kunci pencarian setelah nama domain akan diabaikan. seperti yang saya katakan search/label/seo tidak akan di index.
5. Allow: /: Mengizinkan semua halaman untuk di rayapi, kecuali yang di larang di atas. Tanda "/" mengacu pada homepage dan berarti robot dapat merayapi homepage blog kita.
6. Disallow: /p/*
kode yang satu ini hampir sama dengan "Disallow: /search" namun perbedaanya pada kode ini memblokir perayapan pada halaman Laman pada blog anda. Namun jika anda juga ingin menindeks halaman laman anda, anda bisa hapus kode ini.
7. Sitemap: http://maknyusblogger.blogspot.com/feeds/posts/default?orderby=UPDATED: Sitemap atau alamat feeds blog. Kode ini mengacu pada setimap blog, yang akan mempermudah robot untuk merayapi dan mengindex setiap artikel di terbitkan.

• kelompok baris pertama merupakan informasi user agent milik google menandakan bahwa blog ini adalah patner dari google, hal ini memudahkan bagi anda yang ingin menggunakan jasa google adsense agar iklan yang nantinya di terapkan relevan dengan isi blog anda, juga memberitahukan bahwa blog anda bisa di akses mesin telusur.
• Kelompok ke dua adalah informasi untuk semua mesin crawler search egine, Disana di tuliskan disallow:/search yang menandakan semua robot mesin pencari tidak bokeh mengindeks page label, yang ini berguna untuk mencegah duplikasi artikel yang sangat tidak disukai oleh google.
• Untuk kelompok baris ke tiga merupakan sitemap yang berfungsi memudahkan mesin telusur mengndeks blog anda  Tanda "/" adalah tanda home page anda jadi jangan hanya meletakan tganda ini pada kolom disallow karena berakibat mesin pencari tidak bisa mengindeks home pada blogger anda.

Catatan: Sitemap di atas hanya dapat memberi tahu web crawler sekitar 25 artikel yang baru di terbitkan dan jika Anda ingin mengoptimalkan agar lebih dari itu, Anda bisa merubahnya menjadi sitemap sebagai berikut:

Sitemap: http://maknyusblogger.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Sitemap di atas untuk memberi tahu bahwa artikel Anda di kisaran 500, jika Anda memiliki lebih dari 500 artikel Anda bisa menggunakan sitemap di bawah ini:

Sitemap: http://maknyusblogger.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000

Nah di atas adalah penjelasan tentang kode robot.txt. Jika Anda ingin memodifikasi robot txt, saya tekankan untuk hati hati.

Untuk Cara Setting Robot Header Tags.
1. Masih tetap di menu setting Search preferencs / Prefernsi penelusuran
2. Dibagian paling bawah ada menu Custom robots header tags => Klik Edit. => Pilih Yes
3. Akan muncul Kotak setting seperti gambar , samakan setingan pada gambar berikut ini :

4. Klik simpan / save changes

Anda juga harus berhati-hati dengan setinagn robot.txt ini jika salah-salh maka berakibat blog anda yang di abaikan oleh mesin telusur mbah google.
sekian tararengyu moga berhasil.

Anda baru saja membaca artikel tentang - berguna atau tidak menggunakan robots.txt pada blog. Silahkan baca artikel berikutnya Tentang - Next - Jangan lupa g+1 / fb / twit :)