Web crawler atau atau bisa dibilang web spider ......
Jika mendengar kata spider mungkin yang ada di pikiran kalian adalah laba-laba atau mungkin spider man.
Tapi spider yang dijelaskan disini adalah spider yang berbeda ..
Pengertian web crawler
web crawler merupakan suatu alat atau program yang digunakan search engine untuk meng index atau menjelajahi seluruh web yang ada di internet.
Cara kerja web crawler
Web crawler menggali setiap data yang ada di internet seperti seperti : meta data, keyword, dan lain sebagainya. Kemudian web crawler atau si (spider man) ini akan meng index seluruh data kita ke dalam data base search engine.
Sampai pada akhirnya halaman website akan ditampilkan di SERP
Sampai pada akhirnya halaman website akan ditampilkan di SERP
(search engine rage page)
Fungsi web crawler/web spider
1. Web crawler biasa
digunakan untuk membuat salinan sebagian atau keseluruhan halaman web
yang telah dikunjunginya agar dapat diproses lebih lanjut oleh system
pengindeksan.
2. Web crawler dapat digunakan untuk proses pemeliharaan sebuah website, seperti memvalidasi kode html sebuah web.
3. Web crawler juga digunakan untuk memperoleh data yang khusus, seperti mengumpulkan alamat email.
No comments:
Post a Comment