Development of an Artificial Intelligence Model for Classification of the Movements of Hearing Impaired Individuals


KASAPBAŞI A., CANBOLAT H.

Black Sea Journal of Engineering and Science, vol.7, no.5, pp.826-835, 2024 (TRDizin) identifier

Abstract

Hearing impaired individuals utilize a crucial communication tool called sign language. There are numerous sign languages across different countries such as natural languages. This study proposes leveraging deep learning (DL) advancements to facilitate the conversion of sign language gestures into text. To this end, a novel dataset is curated under various environmental factors such as backgrounds, lighting conditions, and sign positions. Subsequently, Convolutional Neural Networks (CNNs) are employed to detect and classify twenty-three gestures of Turkish sign language alphabet. Furthermore, various hyperparameters are explored to optimize the performance of the developed models. The best model relies on a five-layer convolutional network coupled with the Adam optimization algorithm. This model approximately achieves a commendable accuracy of 98% after 80 epochs. As a result, the proposed models and dataset represent a significant advancement in the field of gestures recognition.
İşaret Dili, işitme engelli bireyler için hayati bir iletişim aracıdır. Farklı ülkelerde kendi ihtiyaçlarına geliştirilmiş birçok işaret dili vardır. Bu çalışma, Türk İşaret Dili (TİD) jestlerini derin öğrenme teknikleriyle metne dönüştürmeyi amaçlamaktadır. Bu amaçla, arka planlar, aydınlatma koşulları ve işaret pozisyonları gibi çeşitli çevresel faktörler açısından çeşitlilik gösteren yeni bir veri kümesi oluşturulmuştur. Daha sonra, TİD alfabesini algılamak ve sınıflandırmak için Evrişimli Sinir Ağları (CNN'ler) kullanılmıştır. Ayrıca, geliştirilen modellerin performansını optimize etmek için çeşitli hiperparametreler araştırılmıştır. En iyi CNN mimarisi, beş evrişimli katmanı içerir ve Adam öğrenme hızı optimizasyon yöntemini kullanır; 80 epoch'tan sonra yaklaşık %98'lik bir doğruluk (başarı) elde edilmiştir. Sonuç olarak, zorlu bir veri kümesi üzerinde eğitilen önerilen modeller, işaret dili tanıma alanında önemli bir ilerleme temsil etmektedir.