VocaSight (Asisten Mobilitas & Komunikasi Bagi penyandang Disabilitas)

Penyandang disabilitas sering kali menghadapi tantangan signifikan terkait mobilitas dan komunikasi di ruang publik, terutama karena keterbatasan akses terhadap alat bantu pendeteksi lingkungan yang praktis. VOCASIGHT hadir sebagai solusi berupa aplikasi asisten cerdas berbasis Android yang dirancang khusus untuk menjembatani hambatan tersebut. Tujuan utama dari pengembangan proyek ini adalah untuk memfasilitasi kemandirian, rasa aman, dan kepercayaan diri pengguna dengan memberikan panduan suara secara real-time sehingga mereka dapat beraktivitas sehari-hari dengan lebih lancar tanpa harus selalu bergantung pada orang lain. Aplikasi ini bekerja dengan memadukan teknologi Visi Komputer melalui CameraX API dan model Kecerdasan Buatan (AI) berbasis YOLO serta TensorFlow Lite yang mampu beroperasi secara on-device atau tanpa memerlukan koneksi internet yang terus-menerus. Saat digunakan, kamera smartphone akan memindai lingkungan sekitar, mengidentifikasi hambatan atau objek, dan langsung membacakan hasilnya melalui fitur Text-to-Speech (TTS) bawaan sistem. Selain fungsi mobilitas visual, aplikasi ini juga berfungsi sebagai asisten komunikasi melalui integrasi fitur Speech-to-Text (STT) untuk membantu interaksi pengguna dengan lingkungan sekitarnya. Untuk memastikan kemampuan navigasi yang komprehensif, model deteksi VocaSight telah dikonfigurasi untuk mengenali 80 kelas objek berbeda yang sering ditemui di kehidupan sehari-hari. Objek-objek yang dapat terdeteksi meliputi: orang, sepeda, mobil, motor, pesawat, bus, kereta, truk, perahu, lampu lalu lintas, hidran kebakaran, rambu berhenti, meteran parkir, bangku, burung, kucing, anjing, kuda, domba, sapi, gajah, beruang, zebra, jerapah, ransel, payung, tas tangan, dasi, koper, frisbee, ski, papan salju, bola olahraga, layang-layang, tongkat bisbol, sarung tangan bisbol, skateboard, papan selancar, raket tenis, botol, gelas anggur, cangkir, garpu, pisau, sendok, mangkuk, pisang, apel, roti lapis, jeruk, brokoli, wortel, hot dog, piza, donat, kue, kursi, sofa, tanaman pot, kasur, meja makan, toilet, TV, laptop, mouse, remot, keyboard, ponsel, microwave, oven, pemanggang roti, wastafel, kulkas, buku, jam, vas bunga, gunting, boneka beruang, pengering rambut, dan sikat gigi. Dengan perpaduan teknologi pendeteksi visual dan pemrosesan audio dalam satu antarmuka yang mudah digunakan, VocaSight diharapkan dapat menjadi alat bantu yang inklusif. Aplikasi ini secara langsung bermanfaat untuk mengurangi risiko insiden dengan memberikan peringatan dini terhadap hambatan di depan pengguna, sekaligus menjadi medium komunikasi yang praktis hanya melalui satu genggaman perangkat smartphone.