Kursus Skripsi Tesis Disertasi Python YOLO ~ Penerapan YOLO untuk Deteksi dan Prediksi Interaksi Objek dalam Simulasi Lingkungan Virtual 3D

Berikut adalah silabus 10 sesi @1.5 jam untuk topik “Penerapan YOLO untuk Deteksi dan Prediksi Interaksi Objek dalam Simulasi Lingkungan Virtual 3D”. Silabus ini menggabungkan object detection (YOLO), interaksi objek, dan virtual 3D environments (misalnya Unity, Unreal Engine, atau Godot).

🎯 Tujuan Umum:

Peserta mampu membangun sistem deteksi dan prediksi interaksi objek menggunakan YOLO dan mengintegrasikannya ke dalam simulasi lingkungan virtual 3D secara real-time.

🗂️ Silabus Lengkap:

🔹 Sesi 1: Pengantar YOLO dan Simulasi Virtual 3D

• Pengenalan konsep object detection

• Evolusi YOLO (v1 – v8)

• Dasar simulasi lingkungan 3D (Unity/Unreal/Godot)

• Studi kasus: Deteksi objek dalam simulasi training VR

🔹 Sesi 2: Instalasi dan Setup Lingkungan Kerja

• Instalasi YOLOv5 atau YOLOv8 dengan Python

• Instalasi simulator 3D (Unity/Unreal Engine/Godot)

• Integrasi Python <-> Simulator (via socket, JSON, WebRTC, atau plugin)

• Struktur folder dan manajemen data

🔹 Sesi 3: Dataset dan Pelabelan untuk Deteksi Interaksi

• Perbedaan dataset deteksi dan interaksi

• Pelabelan dengan Roboflow / LabelImg

• Kategori objek dan interaksi (angkat, geser, dekat, hindari, dll.)

• Augmentasi data 2D dan adaptasi untuk lingkungan 3D

🔹 Sesi 4: Training Model YOLO untuk Deteksi Objek

• Arsitektur dan konfigurasi YOLO

• Custom dataset training

• Monitoring loss dan evaluasi mAP

• Model validation dan interpretasi hasil deteksi

🔹 Sesi 5: Real-Time Inference dari Kamera atau Simulasi

• Inference YOLO secara real-time menggunakan webcam

• Menangkap video dari simulator 3D ke YOLO

• Sinkronisasi frame dan performa deteksi

• Latensi dan optimasi

🔹 Sesi 6: Deteksi Objek dalam Simulasi 3D

• Deteksi objek yang digerakkan oleh AI / manusia dalam lingkungan virtual

• Mapping hasil deteksi ke koordinat 3D

• Visualisasi bounding box dalam simulasi 3D (UI marker, outline, dll.)

🔹 Sesi 7: Prediksi Interaksi Berdasarkan Posisi dan Pergerakan

• Definisi interaksi (proximity, touch, collision, gaze)

• Rule-based vs ML-based interaction prediction

• Deteksi perubahan posisi objek dari frame-to-frame

• Memprediksi arah dan tindakan berikutnya

🔹 Sesi 8: Integrasi Prediksi ke Simulator

• Mengirim hasil deteksi dan prediksi ke engine 3D

• Trigger event di lingkungan virtual (misal: jika objek mendekat → respon AI)

• Komunikasi Python ↔ Unity/Godot/Unreal (via websocket, REST API, dll.)

🔹 Sesi 9: Evaluasi dan Analisis Kinerja Sistem

• Pengukuran akurasi deteksi (IoU, precision, recall)

• Evaluasi interaksi: TP/FP/FN dalam konteks simulasi

• Latency dan FPS tracking

• Penyesuaian model dan parameter

🔹 Sesi 10: Presentasi Mini-Proyek: Simulasi Interaktif Deteksi Objek

• Peserta mempresentasikan mini-project:

  • Simulasi virtual dengan objek interaktif

  • Sistem deteksi dan prediksi interaksi menggunakan YOLO

• Sesi review, umpan balik, dan diskusi lanjutan

📌 Tools dan Library yang Disarankan:

• Python, PyTorch, OpenCV

• YOLOv5/YOLOv8

• Unity/Unreal/Godot

• Roboflow atau LabelImg

• Flask/FastAPI (jika ingin membuat server deteksi)