Para rekan blogger pasti pernah suatu ketika melihat di google webmaster kok ada semacam warning yang bertuliskan URL restricted by robots.txt. Untuk blogger yang baru pertama kali menjumpai hal tersebut tentu saja akan langsung panik dan berasumsi ada yang salah dengan blog saya sehingga ada "sesuatu" yang di blokir oleh google robot.
Ternyata masalah ini pada umumnya hanyalah masalah pelaporan oleh google robot kepada kita sang pemilik blog. Laporan apaan sich? Begini ceritanya, untuk pengguna hosting gratis blogger/blogspot, memang halaman url http://blog-anda.blogspot.com/search/label/nama label, adalah memang secara default dari sono-nya tidak akan di indeks/crawl oleh search engine, karena pada direktori server blogger "/search/label" memang tidak di ijinkan untuk di indeks mesin pencari manapun. Hal ini memang diberlakukan agar tidak terjadi duplikasi indeks.
Pesan URL restricted by robots.txt muncul jika memasang atritub meta tag yang mengandung "index" atau "follow" pada blog kita. Berdasarkan apa yang tercantum pada meta tag tersebut maka ketika robot search engine mengunjungi web kita akan di artikan sebagai perintah kepada robot search engine untuk melakukan indeks. Nah, karena pada wilayah "/search/label" itu tak bisa di indeks, maka muncul-lah pesan laporan yang menyatakan URL restricted by robots.txt sebagai konfirmasi dari si robot bahwa halaman pada url itu tidak bisa di indeks.
Dari pihak google webmaster central sendiri sudah mengklarifikasi bahwa URL restricted by robots.txt in blogger is no problem dan cara memblokir konten biar lebih efektif seacara SEO itu adalah tetap baik jika di jalankan, kalau tidak ya tak apa-apa, karena banyak teknik optimasi seo dan olah keyword yg bisa anda lakukan :-)
So... Tenang sajalah dan keep bloging yach... :-)
0 comments:
Posting Komentar