Kursus Skripsi Tesis Disertasi Web Scraping | Penerapan Web Scraping untuk Mengumpulkan Data Lowongan Kerja dari Situs Job Portal, Scraping data dari situs seperti Jobstreet, Kalibrr, atau LinkedIn Jobs

Berikut adalah silabus 20 sesi @1,5 jam untuk topik:
“Penerapan Web Scraping untuk Mengumpulkan Data Lowongan Kerja dari Situs Job Portal”
Fokus: Scraping data dari situs seperti Jobstreet, Kalibrr, atau LinkedIn Jobs.

🧩 Tahap 1 – Dasar Web Scraping & Python (Sesi 1–5)

Sesi 1: Pengenalan Web Scraping

• Konsep dasar web scraping

• Etika dan legalitas scraping

• Struktur halaman HTML dan DOM

Sesi 2: Pengantar Python untuk Scraping

• Dasar-dasar Python

• Instalasi libraries (Requests, BeautifulSoup, pandas)

Sesi 3: Struktur HTML dan Navigasi DOM

• Tag HTML, class, ID, dan atribut

• Penggunaan browser dev tools (Inspect Element)

Sesi 4: Scraping Sederhana dengan Requests & BeautifulSoup

• Mengambil halaman HTML

• Menyaring elemen (find, find_all, select)

Sesi 5: Menyimpan Hasil Scraping ke CSV/Excel

• Pandas DataFrame

• Export data ke file CSV

⚙️ Tahap 2 – Scraping Situs Job Portal (Sesi 6–10)

Sesi 6: Studi Kasus – Scraping Kalibrr (Part 1)

• Analisis struktur job listing

• Identifikasi data penting (judul, perusahaan, lokasi)

Sesi 7: Studi Kasus – Scraping Kalibrr (Part 2)

• Scraping multi-halaman (pagination)

• Looping dan penanganan delay

Sesi 8: Studi Kasus – Scraping Jobstreet (Part 1)

• Teknik parsing data deskripsi pekerjaan

Sesi 9: Studi Kasus – Scraping Jobstreet (Part 2)

• Menyimpan data hasil scraping ke Excel lengkap

Sesi 10: Penanganan Error dan Data Tidak Konsisten

• Try-except block

• Validasi data kosong, format tanggal, dan format gaji

🔐 Tahap 3 – Scraping Dinamis & Anti-Bot (Sesi 11–15)

Sesi 11: Scraping Situs dengan JavaScript Dinamis (Selenium)

• Instalasi dan penggunaan Selenium

• Penggunaan WebDriver (Chrome)

Sesi 12: Studi Kasus – Scraping LinkedIn Jobs (Part 1)

• Navigasi situs LinkedIn Jobs

• Otomatisasi login jika diperlukan

Sesi 13: Studi Kasus – Scraping LinkedIn Jobs (Part 2)

• Scroll otomatis, click button, ekstraksi data dinamis

Sesi 14: Bypass Proteksi (User-Agent, Delay, Captcha ringan)

• Headers dan rotating User-Agent

• Delay acak dengan time dan sleep

Sesi 15: Penyimpanan ke Database (SQLite/MySQL)

• Dasar penggunaan SQLite untuk scraping

• Simpan data job secara terstruktur

🧠 Tahap 4 – Analisis & Visualisasi Data Lowongan (Sesi 16–20)

Sesi 16: Cleaning Data & Normalisasi

• Menghapus duplikasi

• Normalisasi teks (judul, lokasi, gaji)

Sesi 17: Analisis Tren Pekerjaan

• Analisis jumlah lowongan berdasarkan lokasi, jabatan

• Gaji rata-rata per industri

Sesi 18: Visualisasi Data dengan Matplotlib/Seaborn

• Bar chart, pie chart, word cloud dari skill/job title

Sesi 19: Otomatisasi Scraping Berkala

• Membuat script scraping otomatis (schedule/crontab)

• Logging dan pengecekan hasil scraping

Sesi 20: Presentasi Proyek Mini: Scraping & Analisis Job Portal

• Presentasi hasil scraping dan analisis

• Diskusi tantangan dan solusi