PREVIEW & GALLERY
TENTANG KARYA
Latar Belakang & Tujuan Komunikasi antara penyandang disabilitas rungu (teman Tuli) yang menggunakan Bahasa Isyarat Indonesia (BISINDO) dengan masyarakat umum seringkali terhambat karena minimnya pemahaman masyarakat terhadap bahasa isyarat. Tujuan utama pengembangan aplikasi BisindoScanner adalah untuk menjembatani kesenjangan komunikasi tersebut secara inklusif. Aplikasi ini dirancang untuk memberikan solusi penerjemahan yang praktis, cepat, dan mudah diakses oleh siapa saja langsung dari genggaman tangan.
Fitur Utama
Pendeteksian Real-Time: Mampu mengenali dan menerjemahkan alfabet/abjad BISINDO (A-Z) secara instan langsung dari tangkapan kamera smartphone tanpa jeda yang berarti.
Visualisasi Bounding Box: Menampilkan kotak penanda (overlay) dan label huruf secara visual pada antarmuka kamera untuk akurasi posisi tangan.
Penyusun Kata (Word Builder): Huruf-huruf isyarat yang berhasil dideteksi akan dikumpulkan dan dirangkai menjadi sebuah teks utuh (kata/kalimat) untuk memudahkan percakapan dua arah.
Offline Mode (On-Device Processing): Seluruh proses komputasi kecerdasan buatan berjalan secara lokal di dalam perangkat (edge computing), sehingga privasi terjaga, inferensi lebih cepat, dan tidak bergantung pada koneksi internet.
Teknologi yang Digunakan
Native Android (Java): Dibangun menggunakan bahasa pemrograman Java dan Android Studio untuk performa aplikasi mobile yang optimal.
CameraX API: Digunakan untuk menangani alur tangkapan kamera (camera feed & image analysis) secara efisien di berbagai jenis peranti Android.
YOLOv8 & TensorFlow Lite: Menggunakan model Computer Vision YOLOv8 yang telah dilatih secara khusus dengan dataset alfabet BISINDO. Model ini dikonversi dan dikuantisasi (TFLite) agar ringan, hemat baterai, dan kompatibel untuk dijalankan di smartphone.
Manfaat Karya Aplikasi ini diharapkan dapat menciptakan lingkungan sosial yang lebih inklusif dan ramah disabilitas. Dengan kemudahan adopsi teknologi mobile, BisindoScanner dapat memfasilitasi interaksi sehari-hari pada sektor pelayanan publik, dunia pendidikan, hingga pergaulan sosial kasual, sekaligus meningkatkan kesadaran publik akan pentingnya bahasa isyarat.
BERIKUT PROSESI TRAININGNYA DI GOOGLE COLLAB https://colab.research.google.com/drive/1XBUMbsTrLUu7YeuDIouYP1i1ii0SXGRL?usp=sharing
DAN BERIKUT DATA YANG SAYA PERGUNAKAN
https://www.kaggle.com/datasets/alvinbintang/sibi-dataset
https://www.kaggle.com/datasets/alfarizy29/combined-sibi-dataset
Video Demo
DISKUSI 0
🏷️
INFORMASI
Platform
Android