Tutorial Scraper Web Chrome Dari Semalt

Pengikisan web telah menjadi alat yang sangat diperlukan untuk pemasaran dan bisnis di hampir semua industri. Persaingan di dunia usaha telah berubah menjadi perang nyata. Pentingnya memiliki akses reguler ke data tidak dapat terlalu ditekankan.

Namun, hanya sedikit orang yang tahu bahwa mereka dapat mengubah peramban web agar berfungsi sebagai alat pengikis web yang bagus. Yang harus Anda lakukan adalah menginstal ekstensi scraper web dari toko web Chrome. Setelah diinstal, browser web Anda dapat mengikis situs saat Anda sedang bekerja. Meskipun tidak memerlukan banyak keterampilan teknis, Anda hanya perlu mengikuti langkah-langkah yang diuraikan di bawah ini untuk memulai:

Pengantar Ekstensi Scraper Web

Scraper Web adalah ekstensi untuk browser Chrome yang dibuat untuk pengikisan data web . Selama pengaturan, ini memungkinkan Anda untuk memasukkan instruksi tentang cara menavigasi melalui situs web sumber dan menentukan data yang Anda perlu gesek. Alat ini akan mengikuti instruksi Anda untuk mengekstrak data yang diperlukan. Anda juga dapat mengekstrak data ke CSV. Selain itu, program ini dapat mengikis beberapa halaman web secara bersamaan, serta mengikis data dari halaman yang dibangun pada Ajax dan JavaScript.

Persyaratan

  • koneksi internet
  • Google Chrome sebagai browser default

Menyiapkan Instruksi

  • Klik tautan berikut https://chrome.google.com/webstore/detail/web-scraper/jnhgnonknehpejjnehehllkliplmbmhn?hl=id
  • Tambahkan ekstensi ke Chrome
  • Anda selesai dengan pengaturan

Bagaimana cara menggunakan alat ini?

Buka alat pengembang Google Chrome dengan mengklik kanan pada layar. Pilih elemen inspeksi. Proses yang lebih singkat adalah dengan menekan F12 setelah membuka alat pengembang Google Chrome. Anda akan menemukan tab baru bertanda 'Web Scraper' di antara tab-tab lainnya.

Perhatikan bahwa kami menggunakan www.awesomegifs.com sebagai contoh untuk tutorial ini. Ini karena situs ini memiliki banyak gambar gif yang dapat dikikis menggunakan alat ini.

  • Langkah pertama adalah membuat peta situs
  • Pergi ke awesomegifs.com.
  • Buka alat pengembang dengan mengklik kanan pada layar dan kemudian pilih inspeksi
  • Pilih tab scraper web
  • Buka 'buat sitemap baru' dan klik 'buat sitemap'
  • Beri nama sitemap Anda dan buka bidang Mulai URL untuk memasukkan URL situs
  • Klik pada 'Buat Peta Situs'

Anda harus memahami struktur pagination situs untuk dapat mengikis beberapa halaman. Klik tombol 'Berikutnya' beberapa kali dari beranda untuk mengetahui bagaimana halaman disusun. Menggunakan awesomegifs.com, kami menemukan bahwa halaman 1 memiliki penambahan / halaman / 1 / ke URL dan halaman 2 memiliki penambahan / halaman / 2 / ke URL seperti di http://awesomegifs.com/page/2 / Dan terus seperti itu.

Ini berarti Anda perlu mengubah nomor di akhir URL. Namun, Anda perlu membuat scraper melakukannya secara otomatis. Dengan asumsi bahwa situs memiliki 125 halaman, Anda dapat membuat peta situs baru dengan URL awal ini - http://awesomegifs.com/page/[001 -125]. Dengan URL ini, pengikis akan mengikis gambar dari halaman 1 ke halaman 125.

Menggaruk elemen

Elemen harus dihapus dari setiap halaman situs. Untuk situs ini, elemen-elemennya adalah URL gambar gif. Anda harus mulai dengan menemukan pemilih CSS yang cocok dengan gambar. Ini dapat dilakukan dengan melihat file sumber halaman web:

  • Gunakan alat pemilih untuk mengklik elemen apa saja di layar
  • Klik pada sitemap yang baru dibuat
  • Klik 'Tambahkan pemilih baru'
  • Beri nama pemilih di bidang id pemilih
  • Tetapkan jenis data yang ingin Anda gesek di bidang jenis
  • Klik pada tombol pilih dan pilih elemen yang diperlukan di halaman web
  • Klik pada 'Selesai memilih'

Terakhir, jika elemen yang ingin Anda gesek muncul beberapa kali di halaman web, Anda harus mencentang kotak 'berganda', sehingga alat tersebut dapat mengikisnya.

Sekarang Anda dapat menyimpan pemilih. Untuk mulai menggores, Anda hanya perlu memilih tab sitemap dan klik 'Scrape.' Jendela baru akan muncul. Anda dapat menghentikan proses sebelum waktunya dengan menutup jendela. Pada titik itu, Anda akan mendapatkan data yang sudah dikikis.

Setelah mengikis, Anda dapat meramban data yang diekstraksi atau mengekspornya ke file CSV dengan membuka peta situs. Sayangnya, proses ini tidak dapat diotomatisasi. Anda harus melakukannya secara manual setiap kali. Selain itu, mengikis sejumlah besar data mungkin memerlukan layanan pengikisan data karena alat mungkin tidak membantu.