Web Crawler

Web crawler adalah sebuah perangkat lunak yang digunakan untuk menjelajah serta mengumpulkan halaman-halaman web yang selanjutnya diindeks oleh mesin pencari (Gatial E,2005). Desain sebuah web crawler harus dapat memenuhi berbagai tujuan yang kadang saling berbenturan, seperti kualitas halaman yang diambil, penyebaran dan pengurangan beban jaringan, kecepatan pengambilan, serta pada saat yang bersamaan tidak membebani server situs yang dikunjungi. Web crawler juga sering dikenal dengan nama web spider atau web robot, yaitu salah satu komponen penting dalam arsitektur sebuah mesin pencari modern. Fungsi utama web crawler adalah untuk melakukan penjelajahan dan pengambilan halaman-halaman web yang ada di internet. Hasil pengumpulan situs web selanjutnya akan diindeks oleh mesin pencari sehingga mempermudah pencarian informasi di internet.

Gambar di atas adalah merupakan arsitektur dari sebuah web crawler. Web crawler memulai kerjanya dengan mengunjungi situs yang sebelumnya alamat situs tersebut sudah diidentifikasikan di dalam sebuah database penyimpanan alamat atau yang disebut dengan seeds atau frontier url.

Dalam kerjanya, web crawler melakukan proses validasi terhadap HTML code dan tautan yang ditemukan pada situs yang dikunjungi. Setelah melakukan validasi, halaman web dan tautan tersebut didownload kemudian diparsing ke dalam tempat penyimpanan utama. Data yang dibawa oleh web crawler secara sederhana hanya berupa text dan metadata. Sedangkan data tautan yang ditemukan pada halaman web yang dikunjungi akan ditempatkan pada seeds (tempat penyimpanan data URL) masuk ke dalam antrian kunjungan selanjutnya web crawler. Secara simultan web crawler mengunjungi situs-situs yang alamatnya terdapat di dalam antrian sampai data URL habis atau dihentikan oleh administrator.