Hati-hati Salah Konfigurasi File ROBOTS.TXT

Tahukah apa itu file ROBOTS.TXT ? ROBOTS.TXT adalah sebuah file konfigurasi yang mengatur spider/crawler dari Search Engine untuk meng-indeks suatu website / blog, terutama website/blog yang memakai hosting dan domain sendiri.

File ini bisa kita buat sendiri atau menggunakan bantuan Google Webmaster Tools atau dibuat sendiri menggunakan editor teks biasa.

Mengingat fungsinya yang penting dalam peng-indeks-an web oleh Search Engine maka saya menambahkan file robots.txt ke dalam direktori public_html di server dengan isi file robots.txt sebagai berikut :

Efeknya ternyata luar biasa. Mari kita lihat statistik pengunjung blog www.isparmo.web.id setelah di pasangi file robots.txt :

Amati statistik mulai tanggal 4 April 2009 s/d sekarang. Sangat memprihatinkan. Sebelum tanggal 4 April rata-rata pengunjung dalam sehari bisa mencapai 150 kunjungan dan 200 page view, tetapi setelah tanggal 4 April ke atas haya terdapat rata-rata 15 kunjungan. Ada apa ini…?

Untuk menganalisanya saya menggunakan Google Webmaster Tools, inilah yang saya dapat : 

Ternyata crawler oleh Googlebot terhadap www.isparmo.web.id di blokir oleh robots.txt, berarti ada kesalahan konfigurasi dalam file robots.txt :

Konfigurasi tersebut ternyata memblokir semua bot search engine, karena ada kata-kata Disallow. Sehingga diputuskan untuk segera diperbaiki.

Langkah-langkah perbaikkan agar web www.isparmo.web.id bisa terindeks kembali oleh search engine :

1. Menghapus file robots.txt, karena sebenarnya keberadaanya untuk membatasi crawler search engine terhadap direktori atau file yang sifatnya krusial, seperti halam login atau file yang sifatnya rahasia pada suatu website.
2. Memasang plugin Google Site XML pada www.isparmo.web.id agar men-generate file sitemap.xml sehingga bot search engine bisa merayapi web dengan mudah.
3. Men-submit kembali www.isparmo.web.id ke Google agar segera terindeks kembali.

Pengalaman yang didapat dari kesalahan konfigurasi robots.txt ini :

1. Baca referensi dan teliti lebih baik lagi ketika melakukan sesuatu.
2. Betapa pentingnya mempelajari teknik Searh Engine Optimation (SEO) dalam mendatangkan pengunjung ke blog.
3. Search Engine menyumbangkan kontribusi yang sangat signifikan dalam mendatangkan pengunjung.

Semoga bermanfaat.

Posted in: All