Arnavutça Konuşma Verilerini Kullanan Derin Öğrenme Tabanlı Duygu Durum Analizi ve Sınıflandırma

Günümüzde konuşma veya ses verilerinden konuşmacının duygu durumunun analiz edilebildiği derin öğrenme tabanlı yazılımlar sayesinde etkileşimli sesli çağrı yanıtlama sistemleri oluşturulabilmektedir. Çalışmamızda, Arnavutça bir veri kümesi oluşturulmuştur. Ses verilerinin spektral ve duyusal açıdan analizi çeşitli derin öğrenme modelleri kullanılarak gerçekleştirilmiştir. Oluşturulan veri kümesi, dört farklı duygu sınıfını (öfkeli, mutlu, üzgün, şaşkın) içeren Arnavutça konuşma verilerini içermektedir. Sınıflandırma işleminde, evrişimli sinir ağı (ESA) modeli kullanılmıştır. Deneysel sonuçlara göre, Arnavutça duygu durumu sınıflandırma başarımı, alıcı işletim karakteristik (AİK) eğrisi altında kalan alan (EAKA) bazında; öfkeli sınıfı için 0.76, mutlu sınıfı için 1.00, üzgün sınıfı için 1.00 ve şaşkın sınıfı için 0.93 olarak elde edilmiştir. Çalışmaya dair bilimsel bulgular ve tartışmalar da sunulmuştur

Nowadays, interactive voice call response systems can be built using deep learning-based software that analyzes the speaker's emotional state from speech or audio data. In our study, an Albanian dataset was created. Spectral and emotional analysis of the audio data were performed using various deep learning models. The dataset contains Albanian speech data with four different emotion classes (angry, happy, sad, surprised). A convolutional neural network (CNN) model was used for classification. The developed classification system was also tested with other datasets to verify its accuracy. According to the experimental results, the performance of Albanian emotion classification, based on the Area under the Receiver Operating Characteristics Curve (AUC-ROC), was 0.76 for the angry class, 1.00 for the happy class, 1.00 for the sad class, and 0.93 for the surprised class. Scientific findings and discussions are also included.