Crawler System

System ini saya bangun untuk program skripsi saya. Crawler system atau yang sering disebut dengan spider both adalah sebuah system atau aplikasi yang secara simultan menelusuri jagat maya atau internet dengan mengunjungi situs-situs yang telah ditentukan. Tujuan dari penelusuran itu adalah untuk mengambil informasi yang terdapat di dalam website tersebut. Dalam aplikasi saya, informasi yang diambil yaitu berupa alamat/link http, isi metadata (author name, description, keywords dan tanggal pembuatan). System yang saya buat seperti di bawah ini.

Crawler engine akan berselancar di internet menggunakan port 80 ke website yang telah di index oleh aplikasi indexing. Informasi yang didapat crawler disimpan ke dalam storage yang berupa file query (karena saya menggunakan noSQL). Storage engine sekaligus berfungsi sebagai virtual database engine yang menduplikat file query tadi agar bisa dibaca dan ditampilkan ke web interface untuk user. Web interfaces ada di dalam web server. Keseluruhan komponen system yaitu crawler, indexing, query&database engine, dan web server diatur oleh seorang administrator melalui komputer admin. Lalu hasil akhirnya adalah user mengakses website interfaces.

Tahap pengerjaan sampai pada pembuatan aplikasi crawler dan query file. Crawler menggunakan bahasa pemrograman perl, sedangkan database menggunakan noSQL keluaran dari Hypertable. Untuk urusan akademik atau kampus, belum menyetujui judul atau topik ini. Tetapi saya akan berusaha keras agar disetujui. Perlu diketahui, 2 tahun yang lalu saya sudah mengerjakan skripsi dengan topik yang berbeda, dan pengerjaan sudah mencapai 40%. Tetapi karena saya vakum dari kampus selama 2 tahun, skripsi itu menjadi basi, dan file pendukung (aplikasi, dan laporan) hilang entah kemana perginya. Hehehe...:D

Rencana nya, hari ini saya akan kekampus untuk berkonsultasi dengan dosen. Tetapi karena ternyata hari ini tanggal merah, saya tidak jadi kekampus. Semoga besok senin saya bisa kekampus dan mengejar untuk lulus pada semester ini. Amiiinnn.....Dosen saat ini kondisinya sudah marah-marah sama saya. :( Terakhir menemui dosen 2 hari yang lalu saya di bentak-bentak dan diomeli macem-macem. Saya kira sekian dulu laporan progres hasil begadangLagi untuk hari ini, 28 mei 2010.

Semaangaddddddddddddddddddd!!!!!