Kursus Skripsi Tesis Disertasi Python YOLO ~ Arsitektur Hybrid YOLO dan Transformer untuk Deteksi dan Segmentasi Objek Kompleks

Berikut adalah silabus 10 sesi @1.5 jam untuk topik “Arsitektur Hybrid YOLO dan Transformer untuk Deteksi dan Segmentasi Objek Kompleks”, dirancang untuk level lanjut seperti tesis atau disertasi S2/S3. Setiap sesi mencakup teori, praktik, dan diskusi studi kasus atau jurnal terkini.

📘 Silabus 10 Sesi (1,5 Jam/Sesi)

Topik: Arsitektur Hybrid YOLO dan Transformer untuk Deteksi dan Segmentasi Objek Kompleks

🧠 Sesi 1: Pengantar Deteksi dan Segmentasi Objek

• Konsep deteksi vs segmentasi objek (bounding box vs pixel-wise)

• Evolusi algoritma deteksi objek: dari R-CNN ke YOLO

• Pengenalan segmentasi objek: semantic vs instance

• Tugas: Review paper YOLO dan Mask R-CNN

🔍 Sesi 2: Arsitektur dan Mekanisme Kerja YOLOv5/v7/v8

• Komponen YOLO: Backbone, Neck, Head

• Dataset dan label format (COCO, Pascal VOC)

• Performa YOLO dalam skenario objek kompleks

• Tugas: Uji coba pre-trained YOLOv5 pada dataset COCO-mini

📐 Sesi 3: Transformer dalam Komputer Visi

• Arsitektur dasar Vision Transformer (ViT)

• Self-attention dan patch embedding

• Penerapan transformer untuk object detection (DETR, Swin Transformer)

• Tugas: Analisis arsitektur DETR dari Facebook AI

🔧 Sesi 4: Hybridisasi YOLO dan Transformer

• Motivasi menggabungkan CNN dan Transformer

• Contoh arsitektur hybrid: YOLOS, TransYOLO, Swin-YOLO

• Tantangan dan keunggulan model hybrid

• Tugas: Presentasi pendek tentang satu model hybrid pilihan

🧪 Sesi 5: Persiapan Dataset dan Tools

• Dataset deteksi + segmentasi: COCO, ADE20K, Cityscapes

• Tools: Roboflow, LabelMe, Supervisely

• Augmentasi dan balancing untuk objek kompleks

• Praktik: Membuat dataset kecil untuk segmentasi instance

💻 Sesi 6: Implementasi YOLO + Segmentation (Mask)

• Integrasi YOLOv8-segmentation (instance mask)

• Modifikasi arsitektur head YOLO

• Pelatihan dan validasi awal model segmentasi

• Praktik: Latih YOLOv8-seg menggunakan dataset custom

🧮 Sesi 7: Integrasi Transformer ke Pipeline YOLO

• Pre-trained ViT sebagai backbone YOLO

• Eksperimen lightweight transformer module pada neck/head

• Framework PyTorch + HuggingFace Transformers

• Praktik: Integrasi ViT pada YOLO backbone (kode eksploratif)

📊 Sesi 8: Evaluasi Model Hybrid

• Metrik evaluasi: mAP, IoU, mIoU, FPS

• Visualisasi hasil segmentasi dan bounding box

• Analisis kegagalan deteksi pada objek kompleks/occlusion

• Praktik: Bandingkan performa YOLO vs Hybrid pada dataset yang sama

🧠 Sesi 9: Optimasi dan Kompresi Model Hybrid

• Teknik optimasi: pruning, quantization, distillation

• Latency vs akurasi vs ukuran model

• Deploy model ke perangkat edge (Jetson, Raspberry Pi)

• Praktik: Quantization-aware training pada hybrid model

📈 Sesi 10: Studi Kasus & Presentasi Mini-Proyek

• Studi kasus:

  • Deteksi dan segmentasi dalam citra medis

  • Segmentasi jalan dan marka untuk mobil otonom

• Mahasiswa presentasi proyek akhir:

  • Dataset

  • Arsitektur hybrid

  • Evaluasi dan kesimpulan