Analisa Website dan Web Crawlers

Pada tugas kali ini kami mencoba untuk menganalisa beberapa web, diantaranya web pemerintahan, web pedidikan, dan web sosial media. Sebelumnya kami akan menjelaskan mengenai web crawlers, Web crawler adalah sebuah perangkat lunak yang digunakan untuk menjelajah serta mengumpulkan halaman-halaman web yang selanjutnya diindeks oleh mesin pencari (Gatial E,2005). Desain sebuah web crawler harus dapat memenuhi berbagai tujuan yang kadang saling berbenturan, seperti kualitas halaman yang diambil, penyebaran dan pengurangan beban jaringan, kecepatan pengambilan, serta pada saat yang bersamaan tidak membebani server situs yang dikunjungi. Web crawler juga sering dikenal dengan nama web spider atau web robot, yaitu salah satu komponen penting dalam arsitektur sebuah mesin pencari modern. Fungsi utama web crawler adalah untuk melakukan penjelajahan dan pengambilan halaman-halaman web yang ada di internet. Hasil pengumpulan situs web selanjutnya akan diindeks oleh mesin pencari sehingga mempermudah pencarian informasi di internet.

Dalam kerjanya, web crawler melakukan proses validasi terhadap HTML code dan tautan yang ditemukan pada situs yang dikunjungi. Setelah melakukan validasi, halaman web dan tautan tersebut didownload kemudian diparsing ke dalam tempat penyimpanan utama. Intinya, untuk mengerjakan tugas analisa web ini kami menggunakan beberapa web crawlers sebagai alat bantu dalam menganalisa kecepatan, skrip-skrip, dan hal teknis lainnya yang berkaitan dengan website yang akan dianalisis.