Contoh Crawling: 5 Contoh Lengkap dan Mudah Ditiru
Mencari contoh crawling yang benar-benar bisa langsung dipraktikkan sering terasa seperti mencari jarum dalam tumpukan jerami. Banyak panduan berhenti di teori, tapi sedikit yang mau menunjukkan kode utuh, struktur folder, dan hasil akhirnya. Lewat lima contoh crawling lengkap di bawah ini, kamu akan melihat langsung bagaimana crawler dibangun dari nol, disesuaikan kebutuhan, lalu dijalankan tanpa drama error berkepanjangan.
Sebelum masuk ke contoh, ada baiknya kita samakan dulu pemahaman. Crawling adalah proses menjelajahi halaman web secara otomatis untuk mengambil data, tautan, atau informasi tertentu. Proses ini jadi fondasi banyak hal: mesin pencari, agregator harga, riset pasar, sampai pemantauan konten kompetitor. Kalau kamu penasaran dengan definisi formalnya, halaman Web crawler di Wikipedia memberi gambaran konsep yang cukup rapi.
Nah, artikel ini adalah bagian dari klaster topik besar seputar web scraping dan otomasi data. Setelah menguasai contoh crawling di sini, kamu bisa lanjut ke sub-topik turunan seperti parsing HTML, penyimpanan data ke database, atau penjadwalan crawler otomatis. Tapi untuk sekarang, kita fokus ke lima contoh yang paling sering diminta pemula dan paling berguna di lapangan.
Kenapa Contoh Crawling Lebih Berguna Daripada Teori Panjang
Jujur saja, membaca dokumentasi library selama berjam-jam sering tidak sebanding dengan melihat satu contoh crawling yang berjalan mulus. Alasannya sederhana: crawling itu soal detail praktis. Bagaimana menangani halaman yang lambat dimuat, bagaimana menghindari blokir, bagaimana menyimpan hasil agar tidak berantakan.

Detail seperti ini jarang muncul di teori, tapi selalu muncul saat eksekusi. Itulah kenapa contoh crawling lengkap lebih cepat membuat orang paham dibanding penjelasan konseptual berlembar-lembar.
Menurut pengalaman, tiga hal yang paling sering bikin pemula tersandung adalah: lupa mengatur jeda antar-request, tidak menyiapkan User-Agent yang wajar, dan menulis selector yang terlalu rapuh. Semua ini akan terlihat jelas ketika kamu meniru contoh dan memodifikasinya sendiri.

Kriteria Contoh Crawling yang Layak Ditiru
Tidak semua contoh crawling di internet layak diikuti. Sebagian sudah usang, sebagian lagi ditulis dengan asumsi yang tidak dijelaskan. Supaya tidak buang waktu, saya biasa memakai beberapa kriteria sederhana.
Pertama, kode harus bisa dijalankan apa adanya, minimal di lingkungan standar Python. Kedua, ada penjelasan kenapa sebuah langkah diambil, bukan cuma “copy ini, tempel itu”. Ketiga, contohnya menangani kasus nyata seperti struktur HTML yang tidak konsisten atau halaman yang butuh header khusus.

Dari situlah artikel ini disusun. Setiap contoh crawling terbaik di bawah dipilih karena memenuhi kriteria tadi, plus bisa dikembangkan jadi template crawling yang lebih besar sesuai kebutuhanmu.
Persiapan sebelum Meniru Contoh Crawling
Sebelum menyentuh kode, ada beberapa hal yang wajib kamu siapkan. Ini bukan formalitas, karena melewatkannya sering berujung pada crawler yang jalan tapi hasilnya kacau.

Pertama, lingkungan Python yang bersih. Saya sarankan pakai virtual environment supaya library tidak bentrok dengan proyek lain. Cukup jalankan perintah pembuatan environment, aktifkan, lalu install paket yang dibutuhkan.
Kedua, pahami sedikit struktur HTML dan CSS selector. Kamu tidak perlu jadi ahli, tapi tahu bedanya class dan id akan sangat membantu saat menulis selector di setiap contoh crawling nanti.

Library dan Alat yang Dipakai di Setiap Contoh
Sepanjang artikel, kita akan memakai beberapa library populer. requests untuk mengambil halaman, BeautifulSoup untuk mem-parsing HTML, dan Scrapy untuk crawler yang lebih serius. Ketiganya gratis, dokumentasinya lengkap, dan dipakai luas di industri.
Untuk penyimpanan hasil, kita akan pakai CSV dan JSON sederhana. Keduanya mudah dibaca, mudah dibuka di spreadsheet, dan cukup untuk sebagian besar kebutuhan awal. Kalau nanti datanya membesar, baru pertimbangkan database.

Terakhir, siapkan etika crawling. Selalu periksa file robots.txt situs target, beri jeda antar-request, dan jangan membanjiri server. Ini bukan sekadar sopan santun, tapi juga cara paling efektif menghindari blokir IP.
Contoh Crawling 1: Crawler Sederhana untuk Mengambil Judul Artikel
Contoh crawling pertama adalah yang paling dasar: mengambil semua judul artikel dari satu halaman blog. Ini cocok banget buat kamu yang baru pertama kali mencoba, karena logikanya lurus dan hasilnya langsung kelihatan.

Idenya begini. Kita kirim request ke URL target, ambil HTML-nya, lalu cari semua elemen heading yang menandai judul artikel. Di banyak blog, judul artikel biasanya ada di tag <h2> atau <h3> dengan class tertentu.
Berikut kerangka kodenya secara garis besar. Kamu buat file Python, impor requests dan BeautifulSoup, siapkan URL, lalu jalankan permintaan GET dengan header User-Agent yang wajar. Setelah HTML diterima, parsing dan cari elemen judul, lalu cetak hasilnya satu per satu.

Yang sering terlewat: tidak semua situs mengembalikan HTML utuh kalau User-Agent-nya kosong. Beberapa malah membalas dengan halaman kosong atau kode status aneh. Jadi langkah kecil seperti mengatur header itu bukan opsional, melainkan bagian dari contoh crawling lengkap yang benar.
Menangani Kasus Judul yang Tidak Konsisten
Di lapangan, jarang ada situs yang strukturnya serapi contoh. Kadang judul artikel dibungkus <a> di dalam <h2>, kadang ada badge kategori yang ikut terbawa. Kalau selector-mu terlalu kaku, hasilnya jadi berantakan.

Solusinya, ambil teks judul dengan .get_text(strip=True) dan buang elemen anak yang tidak perlu. Kalau perlu, filter berdasarkan panjang teks minimal supaya menu navigasi tidak ikut terambil.
Contoh crawling terbaru yang saya tulis untuk klien biasanya menambahkan pengecekan sederhana: kalau teks judul kurang dari sepuluh karakter, lewati. Trik sepele ini menghemat banyak waktu saat membersihkan data.

Contoh Crawling 2: Mengambil Daftar Harga dari Halaman Katalog
Contoh crawling kedua naik satu level: mengambil daftar produk beserta harganya dari halaman katalog. Ini skenario yang sangat umum untuk riset pasar atau pemantauan kompetitor.
Struktur halamannya biasanya berupa grid kartu produk. Setiap kartu punya nama produk, harga, dan mungkin tautan detail. Tugas crawler adalah mengulang setiap kartu, mengekstrak tiga informasi itu, lalu menyimpannya rapi.

Kunci utamanya ada di selector pembungkus. Cari dulu container yang membungkus semua kartu, misalnya div.product-card. Setelah itu, loop setiap kartu dan ambil elemen nama serta harga di dalamnya. Pola ini jauh lebih tahan lama dibanding mengambil semua elemen harga sekaligus.
Harga sering ditulis dengan format aneh: ada titik, koma, simbol mata uang, bahkan spasi tak terlihat. Bersihkan teksnya sebelum disimpan. Kalau tidak, analisis berikutnya jadi mimpi buruk.

Menyimpan Hasil ke CSV agar Mudah Diperiksa
Untuk contoh crawling ini, menyimpan hasil ke CSV adalah pilihan paling praktis. Kamu bisa membukanya di spreadsheet, mengurutkan berdasarkan harga, dan langsung melihat pola.
Gunakan modul csv bawaan Python. Tulis header sekali di awal, lalu tambahkan baris per produk. Pastikan encoding-nya UTF-8 supaya karakter khusus tidak rusak.
Saran kecil dari saya: simpan juga URL produk asal di kolom terpisah. Saat ada data yang mencurigakan, kamu bisa langsung mengecek sumbernya tanpa harus menjalankan ulang crawler.
Contoh Crawling 3: Crawler Multi-Halaman dengan Pagination
Contoh crawling ketiga adalah favorit saya karena di sinilah crawler mulai terasa “hidup”. Kita akan menjelajahi banyak halaman katalog yang dipisahkan pagination, bukan cuma satu halaman.
Logikanya sederhana: mulai dari halaman pertama, ambil data, cari tautan ke halaman berikutnya, lalu ulangi. Proses berhenti ketika tidak ada lagi tombol “next” atau ketika batas halaman yang kita tentukan tercapai.
Yang membuat contoh crawling ini menantang adalah variasi pola pagination. Ada situs yang memakai parameter ?page=2, ada yang memakai URL berbeda seperti /page/2/, dan ada yang memuat halaman berikutnya lewat JavaScript. Untuk dua kasus pertama, crawler biasa sudah cukup.
Selalu pasang batas maksimal halaman, misalnya lima puluh. Tanpa batas, crawler bisa berputar tanpa henti kalau situs punya tautan “next” yang menunjuk ke dirinya sendiri. Pengalaman pahit ini pernah saya alami di awal karier, dan sejak itu batas halaman jadi wajib.

Menambahkan Jeda dan Retry untuk Halaman yang Gagal
Tidak semua request berhasil. Kadang server lambat, kadang koneksi terputus. Contoh crawling lengkap yang baik selalu menyiapkan mekanisme retry sederhana.
Bungkus permintaan dalam blok percobaan dengan jumlah ulang maksimal tiga kali. Tambahkan jeda antar-percobaan, misalnya dua detik, supaya tidak terkesan memaksa.

Jeda antar-halaman juga penting. Saya biasanya pakai satu sampai dua detik. Terasa lambat, tapi ini menyelamatkan crawler dari blokir dan menjaga hubungan baik dengan server target.
Contoh Crawling 4: Crawler dengan Rotasi User-Agent dan Proxy
Contoh crawling keempat ditujukan untuk situs yang sedikit lebih protektif. Ketika request dari satu User-Agent terus ditolak, rotasi menjadi solusi yang wajar.

Caranya, siapkan daftar User-Agent yang realistis, lalu pilih secara acak untuk setiap request. Jangan pakai daftar yang aneh-aneh; cukup tiru browser umum yang memang beredar luas.
Untuk skala kecil, rotasi User-Agent biasanya sudah cukup. Kalau situs target tetap menolak, barulah pertimbangkan proxy. Tapi ingat, proxy berbayar lebih andal daripada proxy gratis yang sering mati di tengah jalan.
Menurut pengalaman, banyak orang langsung lompat ke proxy padahal masalahnya cuma header yang kurang lengkap. Periksa dulu apakah kamu sudah mengirim Accept, Accept-Language, dan Referer yang wajar. Sering kali itu sudah menyelesaikan masalah.
Kapan Rotasi Justru Tidak Perlu
Rotasi bukan obat segala hal. Kalau targetmu adalah situs pemerintah, dokumentasi publik, atau API resmi, rotasi malah bikin repot tanpa manfaat.

Untuk sumber seperti itu, patuhi rate limit yang ditetapkan dan gunakan identitas yang jujur. Banyak situs menyediakan API resmi yang jauh lebih stabil dibanding scraping halaman HTML. Jadi sebelum menulis contoh crawling yang rumit, cek dulu apakah ada jalur resminya.
Contoh Crawling 5: Template Crawling Modular Siap Pakai
Contoh crawling kelima adalah puncaknya: sebuah template crawling modular yang bisa kamu pakai ulang untuk berbagai situs. Ini bukan sekadar kode, tapi kerangka kerja kecil yang memisahkan bagian pengambilan, parsing, dan penyimpanan.

Bayangkan tiga file terpisah. Satu untuk mengambil halaman, satu untuk mengekstrak data, satu untuk menyimpan hasil. Dengan pemisahan ini, mengganti target situs cukup mengubah bagian parsing tanpa menyentuh logika lain.
Template crawling seperti ini sangat berguna kalau kamu sering mengerjakan proyek serupa. Sekali bangun, bisa dipakai berkali-kali. Berikut gambaran struktur dan isi utamanya.
| Komponen | Fungsi | Isi Utama |
|---|---|---|
| Fetcher | Mengambil HTML dari URL | Requests, header, retry, jeda |
| Parser | Mengekstrak data dari HTML | BeautifulSoup, selector, pembersihan teks |
| Storage | Menyimpan hasil | CSV, JSON, atau database |
| Config | Menyimpan pengaturan | URL target, batas halaman, User-Agent |
| Runner | Mengorkestrasi alur | Loop halaman, pemanggilan fetcher dan parser |
Dengan struktur ini, setiap langkah ini yang kamu buat nanti tinggal menyesuaikan bagian config dan parser. Sisanya sudah beres. Ini juga memudahkan kolaborasi, karena orang lain bisa memahami alurnya tanpa membaca seluruh kode.

Contoh Konfigurasi di dalam Template Crawling
Bagian config sebaiknya berisi semua hal yang mungkin berubah: URL awal, batas halaman, jeda, dan daftar selector. Simpan dalam bentuk kamus sederhana atau file JSON terpisah.
Misalnya, kamu punya kunci base_url, max_pages, delay, dan selectors. Parser tinggal membaca kunci selectors untuk tahu elemen mana yang harus diambil.
Keuntungan pendekatan ini terasa saat kamu mengelola beberapa situs sekaligus. Cukup ganti file config, dan template crawling yang sama bisa dipakai untuk target berbeda tanpa mengubah kode inti.
Tabel Perbandingan Lima Contoh Crawling
Supaya lebih mudah memilih mana yang cocok dengan kebutuhanmu, berikut ringkasan kelima langkah ini di atas. Setiap baris menunjukkan tingkat kesulitan, library utama, dan kasus penggunaan yang paling pas.
| Contoh | Tingkat Kesulitan | Library Utama | Cocok Untuk |
|---|---|---|---|
| 1. Ambil Judul Artikel | Pemula | Requests, BeautifulSoup | Belajar dasar crawling |
| 2. Daftar Harga Katalog | Pemula-Menengah | Requests, BeautifulSoup, CSV | Riset harga, pemantauan kompetitor |
| 3. Multi-Halaman Pagination | Menengah | Requests, BeautifulSoup | Mengumpulkan data dalam jumlah besar |
| 4. Rotasi User-Agent dan Proxy | Menengah-Lanjut | Requests, rotasi header | Situs dengan proteksi ringan |
| 5. Template Modular | Lanjut | Requests, BeautifulSoup, modul terpisah | Proyek berulang, kerja tim |
Dari tabel ini kelihatan jelas bahwa hal ini terbaik bukan yang paling rumit, melainkan yang paling sesuai dengan kebutuhan. Pemula tidak perlu langsung menyentuh rotasi proxy kalau targetnya cuma blog pribadi.

Saya sering menyarankan orang untuk memulai dari contoh nomor satu, lalu naik perlahan. Setiap level mengajarkan satu keterampilan baru yang akan berguna di level berikutnya.
Kesalahan Umum saat Meniru Contoh Crawling
Meniru hal ini tanpa memahami konteksnya sering berujung pada masalah yang membingungkan. Ada beberapa kesalahan yang berulang kali muncul, dan sebagian besar sebenarnya bisa dihindari dengan sedikit kehati-hatian.
Kesalahan paling umum adalah selector yang terlalu spesifik. Class dengan nama acak seperti CSS-1x2y3z bisa berubah kapan saja. Kalau memungkinkan, pilih selector yang lebih stabil, misalnya berdasarkan struktur atau atribut semantik.
Kesalahan kedua, mengabaikan robots.txt. Ini bukan cuma soal etika, tapi juga soal keberlanjutan. Situs yang merasa dibanjiri request akan memasang proteksi, dan crawler-mu yang jadi korban.
Mengabaikan Pembersihan Data
Data mentah dari HTML hampir selalu kotor. Ada spasi berlebih, karakter aneh, atau teks yang tidak relevan. Kalau tidak dibersihkan, hasilnya sulit dianalisis.
Biasakan menambahkan langkah pembersihan di setiap hal ini yang kamu buat. Buang spasi di awal dan akhir, normalisasi tanda baca, dan pastikan tipe data sesuai.
Ini terasa merepotkan di awal, tapi menghemat banyak waktu saat data mulai menumpuk. Pengalaman saya menunjukkan, data kotor adalah penyebab tersembunyi di balik banyak analisis yang hasilnya mengecewakan.
Pertanyaan Umum Seputar Contoh Crawling
Bagian ini merangkum pertanyaan yang paling sering muncul saat orang mulai belajar crawling. Jawabannya dibuat singkat dan langsung ke inti, supaya kamu tidak perlu membaca ulang seluruh artikel.
Apakah Crawling Legal?
Crawling pada dirinya legal di banyak yurisdiksi, tapi penggunaannya bisa melanggar aturan. Selalu periksa syarat layanan situs dan robots.txt. Untuk data pribadi, perhatikan aturan perlindungan data yang berlaku.
Intinya, ambil data yang memang boleh diambil, dan jangan membebani server. Kalau ragu, cari kontak pemilik situs dan tanyakan langsung. Pendekatan ini lebih aman daripada menebak-nebak.
Berapa Jeda Ideal Antar-Request?
Tidak ada angka pasti, tapi satu sampai dua detik adalah titik awal yang wajar. Situs besar biasanya lebih toleran, situs kecil lebih sensitif.
Kalau kamu melihat respons lambat atau kode status 429, itu tanda untuk memperlambat. Menyesuaikan jeda berdasarkan respons server adalah praktik yang jauh lebih baik daripada memakai angka tetap tanpa berpikir.
Apakah Harus Pakai Scrapy atau Cukup Requests?
Untuk langkah ini skala kecil sampai menengah, requests dan BeautifulSoup sudah lebih dari cukup. Scrapy baru terasa manfaatnya saat kamu mengelola ribuan URL, butuh konkurensi, atau ingin pipeline yang rapi.
Mulai dari yang sederhana dulu. Kalau kebutuhanmu berkembang, migrasi ke Scrapy akan lebih mudah karena kamu sudah paham logika dasarnya.
Bagaimana Menghadapi Halaman yang Dimuat dengan JavaScript?
Kalau data baru muncul setelah JavaScript berjalan, requests biasa tidak akan melihatnya. Kamu perlu alat yang bisa menjalankan browser, seperti Playwright atau Selenium.
Alternatifnya, cari API internal yang dipanggil halaman tersebut. Sering kali data sebenarnya diambil lewat endpoint JSON yang bisa diakses langsung. Ini jauh lebih efisien dibanding merender seluruh halaman.
Apa Saja Term LSI yang Perlu Diperhatikan?
Selain fokus utama, ada beberapa frasa pendukung yang sering dicari bersama topik ini, seperti langkah ini lengkap, contoh crawling terbaru, template crawling, dan contoh crawling terbaik. Memahami variasi ini membantumu mencari referensi yang lebih tepat.
Frasa-frasa tersebut juga berguna saat kamu menyusun dokumentasi proyek. Menuliskan istilah yang konsisten memudahkan orang lain memahami kode dan tujuan crawler-mu.
Langkah Lanjutan Setelah Menguasai Lima Contoh Crawling
Setelah kelima langkah ini di atas berjalan lancar, ada beberapa arah pengembangan yang bisa kamu tempuh. Ini bukan keharusan, tapi bagus untuk memperluas kemampuan secara bertahap.
Arah pertama adalah parsing yang lebih canggih. Pelajari selector lanjutan, penanganan tabel HTML, dan ekstraksi data terstruktur seperti JSON-LD. Banyak situs menyimpan data penting di format terstruktur yang lebih mudah diambil.
Arah kedua adalah penyimpanan. CSV cukup untuk data kecil, tapi begitu jumlahnya membesar, database seperti SQLite atau PostgreSQL jadi pilihan yang lebih masuk akal. Kamu juga bisa mulai memikirkan skema data yang rapi.
Menghubungkan Crawler dengan Penjadwalan Otomatis
Crawler yang dijalankan manual cepat atau lambat akan terasa melelahkan. Di sinilah penjadwalan otomatis berperan. Kamu bisa memakai cron job di server atau layanan penjadwal berbasis cloud.
Mulai dari jadwal sederhana, misalnya sekali sehari di luar jam sibuk. Pantau hasilnya, lalu sesuaikan frekuensi berdasarkan kebutuhan. Jangan langsung menjadwalkan crawler setiap jam kalau data target tidak berubah secepat itu.
Ingat juga untuk menambahkan log. Tanpa log, kamu akan kesulitan mengetahui kapan crawler gagal atau kapan struktur situs berubah. Log sederhana dengan timestamp sudah sangat membantu.
Hal yang Perlu Diperhatikan Soal Etika dan Keberlanjutan
Topik ini sering diabaikan, padahal menentukan apakah crawler-mu bisa berjalan lama atau justru diblokir dalam hitungan hari. Etika crawling bukan sekadar formalitas, tapi bagian dari strategi jangka panjang.
Selalu hormati robots.txt, batasi kecepatan request, dan identifikasi dirimu dengan jelas lewat User-Agent yang mencantumkan kontak. Kalau memungkinkan, gunakan API resmi yang disediakan pemilik data.
Selain itu, simpan data secara bertanggung jawab. Jangan menyebarkan data pribadi tanpa izin, dan patuhi aturan yang berlaku di wilayahmu. Crawler yang baik adalah crawler yang tidak menimbulkan masalah bagi orang lain.
Membangun Kebiasaan Dokumentasi Sejak Awal
Setiap hal ini yang kamu buat sebaiknya disertai catatan singkat: target apa, selector apa yang dipakai, dan kapan terakhir diperbarui. Catatan ini terasa sepele, tapi sangat berharga saat kamu kembali ke proyek lama berbulan-bulan kemudian.
Dokumentasi juga memudahkan orang lain yang ingin melanjutkan pekerjaanmu. Dalam kerja tim, crawler tanpa dokumentasi sering jadi beban, bukan aset.
Dari lima hal ini di atas, pola yang sama terus muncul: pahami struktur target, ambil data dengan hati-hati, bersihkan hasilnya, dan simpan secara rapi. Kuasai pola ini, dan kamu bisa menghadapi hampir semua skenario crawling yang muncul di lapangan.
Kalau ingin mendalami lebih jauh, lanjutkan ke sub-topik parsing HTML lanjutan, penyimpanan data terstruktur, dan penjadwalan otomatis. Ketiganya adalah kelanjutan alami dari klaster topik yang kita bahas di sini.
Simak juga kumpulan artikel dan tips lainnya di arsip artikel terkait kami.