#20220273 İşaret Dilinin ve Ses Sinyallerinin Metinlere Dönüştürülmesi işlevini yürüten Mobil Uygulamanın Geliştirilmesi

İşitme engelli bireylerin yaşadığı iletişim sorunları, onların hayatının her alanında anlama ve anlaşılma güçlüğü çekmelerine neden olmakta, dolayısıyla onların toplumdan izole bir yaşam sürmelerine sebebiyet vermektedir. Bu probleme çözüm niteliğinde olan işaret dili ve işitme cihazları kullanılmaktadır. İşaret dili kolay öğrenilen bir dil olmasına rağmen halk arasında çok az kişinin hakim olduğu bir dildir. İşitme cihazları ise maddi yönü sebebiyle toplumdaki her işitme engelli insanın ulaşabildiği bir araç değildir ve işitme engelli insanın sadece %10 'u işitme cihazına sahip durumdadır. Diğer bir çözüm önerisi olarak ,el hareketlerinin sensör aracılığıyla algılanarak yazıya dönüştürüldüğü eldiven tasarlanmıştır. Ancak gerek maddi yönü açısından gerekse sürekli eldiven kullanımının zorunlu kılındığı bu teknolojik çözüm çok fazla talep almamıştır. Bu projenin amacı, bahsi geçen problemden ve var olan çözüm kaynaklarının yetersizliğinden yola çıkarak işitme engellilerin yaşadıkları sorunların önüne geçmek için ,telefon kamerası ile görüntülenen işaret diline ait el hareketlerinin ve mikrofon ile algılanan sesin, yazı formatına dönüştürüleceği çift fonksiyonlu bir mobil bir uygulama geliştirmektir. Proje boyunca görüntü işleme (OpenCV) ,ses sinyali işleme , derin öğrenme metotları (Tensorflow , CNN 6), Hidden Markov Modeli ve Flutter( Yazılım Geliştirme Kiti ) ile çalışılacaktır.Bu bağlamda projenin teknolojik ve yenilikçi yönü ; ek bir ekipmana ücret ödemeksizin, %100 yerli ve milli imkanlarla tasarlanarak yurtdışından getirtilen yüksek bütçeli işitme cihazlarına olan bağımlılığın azaltılacak , diğer projelerden farklı olarak hem sesin hem de işaret dilinin yazıya çevrilerek çift taraflı iletişimin sağlanacak olmasıdır. Projemizin sanayi odaklı çıktısı ise , sadece tek bir sektör ile sınırlı kalmayıp çeşitli sektörlerde hizmet veren tüm kurum ve kuruluşlardaki altyapı sistemlerine entegre edilerek işitme engellilerin toplumdan soyutlanmasının önüne geçilmesidir.

Dünya Sağlık Örgütü'nden alınan verilere göre, dünya çapında 466 milyon işitme engelli insan bulunmaktadır [1]. Sadece 2018 yılında Avrupa’daki işitme engelli birey sayısı 34 milyon iken, bu sayının 2050 yılına kadar yaklaşık olarak 46 milyon olması beklenmektedir. İşitme engelliler uzun bir süredir toplum içerisindeki sosyal hayat ve aktivitelerden izole tutulmuşlardır. Hilde Haunaland ve Joseph J. Murray çalışmalarında bir asırdan fazla bir süredir işitme engellilerin bir araya gelerek spor ve eğlence alanlarında uluslararası faaliyetler içinde bulunmuş olmalarına rağmen, farklı topluluklardan gelen işitme engelliler kendi aralarında bile iletişim kurmakta zorluk çektiklerini belirtmektedirler [2]. Ayrıca Raymond G. Gordon çalışmasında, dünyada 124’den fazla işaret dilinin bulunduğunu ve bunların birbirine benzer taraflarının olmasına rağmen yine karşılıklı iletişim kurmakta problemler yaşadıklarını belirtmektedir [3].93 ülkeyi kapsayan bir araştırmaya göre 31 ülkede tercüme hizmeti bulunmamakta, 30 ülkede ise tercüme hizmeti için yetkili tercüman sayısı 20 veya daha az sayıda olduğu görülmüştür. İşitme engelliler için erişilebilir formatta olan mevcut bilgi yetersizdir ve iletişim ihtiyaçlarının çoğunu karşılamamaktadır. TÜİK’in 2011 yılında Türkiye’deki engellilere yönelik olarak yayınladığı verilere göre ülkemizde 406 bin (%1,1) erkek 429 bin (%1,2) kadın olmak üzere toplam 836 bin işitme engelli bulunmaktadır [1]. Bu rakam İşitme Engelliler Federasyonunun ülkemizde resmi kayıtları baz alarak yayınladığı verilere göre farklı derecelerde işitme engelli olan yaklaşık 3 milyon kişi olduğu bildirilmiştir [1]. Veriler göz önünde bulundurulduğunda her geçen gün Türkiye’de işitme engeline maruz kalan birey sayısı artmakta ve bu bireylerin toplum içerisindeki dışlanma, soyutlanma ve günlük hayatta yaşadığı zorluklar günden güne daha da belirgin hale gelmektedir. Dünya çapında ise 34 milyonunu çocukların oluşturduğu 466 milyon bireyin işitme engeline sahip olduğunu hatta çoğunun işitme engeliyle birlikte konuşma engeline sahip olduğunu açıkça görmek mümkündür [4]. Bu rakamlar yadsınamayacak büyüklüktedir ve bu problem üzerine yapılan çalışmalardan yüksek bütçeyle hizmet alınabildiği ve özellikle işitme cihazlarının işitme engelinin tüm derecelerine göre işlevsel ve etkili olmadığı açıkça görülmektedir. Literatürde bu iletişim probleminin çözümüne yönelik bazı projeler yürütülmüştür. Örnek olarak, sesin yazıya dönüştürülerek gözlük camına aktarıldığı bir gözlük tasarlanmıştır [5]. Bir diğer projede ise işaret dilinin metinlere dönüştürülmesini sağlayan bir eldiven tasarlanmıştır.[6] Ancak gerek maddi yönü açısından gerekse sürekli eldiven ve gözlük kullanımının zorunlu kılındığı bu teknolojik çözüm önerileri çok fazla talep almamıştır. Bu projenin amacı ise işaret dilinin ve ses sinyallerinin yazı formatına çevrilerek çift yönlü iletişimin etkili biçimde gerçekleştirileceği iOS ve Android platformlarına entegre edilecek olan mobil bir uygulama geliştirmektir. Bu amaç doğrultusunda toplum içerisinde görmezden gelinen işitme engelli bireylerin iletişim sorunları üzerine geliştirilmiş var olan çözüm kaynaklarından daha etkili ve kullanışlı bir çözüm yolu üretilmesi , %100 yerli ve milli imkanlarla üretilen bu sistem ücretsiz ve basit bir ara-yüz tasarımı ile tüm yaş grubundan bireyin kolaylıkla kullanabileceği bir platform olarak kullanımına açılması, işitme engelli bireylerin iletişim kurmak için almaları gereken elzem cihazlara ödenen yüksek ücret yükümlülüğünü ortadan kaldırılması ve tüm kurum ve kuruluşlara entegre edilerek bir çok sektördeki iletişim tabanlı problemlerin önüne geçilmesi hedeflenmektedir. İşitme engelli bireylerin toplumdan soyutlanmaları, toplumsal kurum ve kuruluşlarda görev almalarının önündeki en büyük engel kaldırılmış olunacaktır. Bu amaç doğrusunda gerçekleştirilmesi planlanan hedefler aşağıda belirtilmiştir: - İşaret diline ait görsel verilerin toplanması ve veri tabanında depolanması, - Görsel verilerin, görüntü işleme ve makine öğrenmesi teknikleri ile işlenerek hangi hareketin ne anlama geldiğinin otomatik olarak anlamlandırılması, - Mobil telefon mikrofonu aracılığıyla algılanan ses dalgaların da işlenerek yazı formatına dönüştürülmesi, - Flutter yazılım geliştirme kiti kullanılarak iOS ve Android platforma entegre edilebilecek mobil uygulama geliştirilmesi, - Sisteme çeşitli testler uygulanarak işlevselliğinin ve başarısının kontrol edilmesidir.

İşitme engeline yönelik geçmiş zamanlardaki çözüm önerilerine bakıldığında, sesin yazıya çevrilerek gözlük camına aktarıldığı veya eldiven kullanılarak sergilenen işaret dili hareketlerinin sensörler ile algılanarak yazıya döküldüğü prototiplerinin geliştirildiği görülmektedir. Gerek maliyetleri gerekse kullanıcıların sürekli yanında bulundurması elzem bir araç olmaları sebebiyle çok fazla talep alan ürünler arasında yer almamaktadırlar. Günlük hayat kullanımına uygun olmayan projelere bakıldığında ise işitme engellilere aktarılmak istenilen cümleler için ücret karşılığı işaret dili videosu çekilerek müşteriye gönderilir ya da videolarda alt yazı kullanılarak altyazıların işaret diliyle anlam kazandırıldığı videolar çekilerek iletişim sağlanmış olmaktadır. Yapılan diğer çalışmalara bakıldığında genel olarak işaret dilinin yazıya dönüştürülmesi üzerine tek yönlü çalışmalar yapılmıştır. Bu çalışmalarda işitme engelli bir birey işaret dilini kullanarak ifade etmek istediği cümleyi kameraya karşı sergilemekte ve kullanılan algoritma sayesinde işaret dili yazıya dönüştürülerek karşı tarafa aktarılmaktadır. Ancak bu çözüm yolunda meydana gelen problem şudur ki sağlıklı ve işaret dili bilmeyen bir bireyin dönütünün, işitme engelli birey tarafından algılanamamasıdır. Projemizi diğer projelerden farklılaştıran yenilikçi ve teknolojik yönü iki farklı yönlü çalışabilen bir yazılım ile işitme engelli birey ile sağlıklı birey arasında çift taraflı iletişimi sorunsuz ve etkili bir hale getirmek, herhangi bir yüksek ücretli cihazlara ihtiyaç duyulmaksızın ücretsiz bir uygulamanın yüzde yüz milli imkanlarla ülkemiz sınırları içerisinde geliştirilmesi ve dışa bağımlılığın azaltılması , geliştirilen yazılımın dış ülkelere ihracatı ile ülke ekonomisine büyük oranda katkı sağlayacak olmasıdır. Projenin diğer bir teknolojik yönü ise tamamen ücretsiz bir uygulama olarak tüm kullanıcıların kolaylıkla ulaşabileceği platformlarda basit bir ara-yüz tasarımı ile özellikle de işitme engelli bireylerin kullanımına sunulacak olmasıdır. Günümüzde telefon ve internet kullanımının çok yaygın ve popüler olması nedeniyle, herhangi bir somut prototipe gerek duyulmaksızın tasarlanacak uygulamanın belirli platformlardan kolaylıkla indirilip kurulumu sağlanabilecektir. Geliştirmeyi amaçladığımız sistemin temel hedefi işaret dili bilen ve konuşma engeli bulunan bir bireyin, sağlıklı bir bireyle iletişim kurarken kameraya karşı işaret dilini sergileyerek ,işaret dili bilmeyen sağlıklı bir birey için işaret dilinin yazı haline dönüştürülmesi ve sağlıklı bireyin dönütünün ise ses ile algılanıp yazıya dökülerek işitme engelli bireyin yazı yoluyla karşı tarafın dönütünü algılamasıdır ve sistemin mobil uygulama olarak kullanıcıya sunulmasıdır. Projenin somut bir hale getirilmesi ile birlikte hedeflenen unsur ,yazılımın tüm toplumsal kurum ve kuruluşlarda kurularak işitme engellilerin toplumdan soyutlanmasının önüne geçilmesidir. İşitme engelli çocuklar için en önemli unsurun eşit standartlarda eğitim alma hakkına kavuşabilmesi adına eğitim kurumlarında özellikle işitme engelli çocukların ailelerine işitme cihazı alma yükü yüklenmeden interaktif ve inovatif bir eğitim hakkı sunmak adına geliştirilen uygulamanın kurulumu sağlanacaktır. Tüm kurum ve kuruluşlarda, işitme engelli bireylerin iletişim problemi sebep gösterilmeksizin göre almaları ve toplumsal hizmet kaynaklarından yararlanabilmesinin desteklenmesi için geliştirilecek olan yazılım, Türkiye ve dünya çapında milli ve güçlü bir teknoloji hamlesi olarak milletimize armağan edilecektir.

Proje geliştirilirken ihtiyaç duyulacak sarf malzemeler bilgisayar , telefon kamerası ve veri setlerinin işlenmesinde kullanılacak yeterli büyüklükte bir SSD olacaktır. Gerekli çalışmalar işaret dili uzmanı kişilerin yardımlarıyla günlük hayata entegre edilecektir.

- [1] Z.YILDIZ , S.YILDIZ , S. BOZYER, "İŞİTME ENGELLİ TURİZMİ (SESSİZ TURİZM): DÜNYA VE TÜRKİYE POTANSİYELİNE YÖNELİK BİR DEĞERLENDİRME ", 2018, Süleyman Demirel Üniversitesi Vizyoner Dergisi , pp.103-117, doi:10.21076/vizyoner.339776. - [2] Ö. Çelik, A. Odabaş,"Konvolüsyonel Sinir Ağları Kullanarak Türk İşaret Dili Tanıma", 2020 , pp: 923-934, doi: 10.31590. - [3] Gordon R. G., Jr. ed., 2005, Ethnologue: Languages of the World, Fifteenth edition, Dallas TX: SIL International. - [4] T. Yilmaz, “466 milyon işitme engelliden yüzde 10’u işitme cihazına sahip,” Sağlık Aktüel, 09-09-2018, [Online].Erişim:https://www.saglikaktuel.com/haber/466-milyon-isitme-engelliden-yuzde-10u-isitme-cihazina-sahip-63497.htm. - [5] T. Solmaz, “İşitme engelliler için gözlük yaptılar,” DHA, 2020. [Online]. Mevcut: https://www.cnnturk.com/video/turkiye/isitme-engelliler-icin-gozluk-yaptilar. [Erişim: 01-04-2020]. - [6] F. Kaya, A. F. Tuncer and Ş. K. Yildiz, "Detection of the turkish sign language alphabet with strain sensor based data glove," 2018 26th Signal Processing and Communications Applications Conference (SIU), 2018, pp. 1-4, doi: 10.1109/SIU.2018.8404459. - [7] F. Ertam and G. Aydın, "Data classification with deep learning using Tensorflow," 2017 International Conference on Computer Science and Engineering (UBMK), 2017, pp. 755-758, doi: 10.1109/UBMK.2017.8093521 - [8] J. Amrutha and A. S. Remya Ajai, "Performance analysis of Backpropagation Algorithm of Artificial Neural Networks in Verilog," 2018 3rd IEEE International Conference on Recent Trends in Electronics, Information & Communication Technology (RTEICT), 2018, pp. 1547-1550, doi: 10.1109/RTEICT42901.2018.9012614. - [9] L. Ping, "English Speech Recognition Method Based on HMM Technology," 2021 International Conference on Intelligent Transportation, Big Data & Smart City (ICITBS), 2021, pp. 646-649, doi: 10.1109/ICITBS53129.2021.00164.

İşitme Engelli Bireylerin toplumdan soyutlandığı , günlük hayatın her alanında iletişim kurarken zorluk çektiği, iş başvurularında ve mülakatlarda bu sağlık probleminin eleyici bir faktör olarak görüldüğü herkes tarafından bilinmektedir. Geliştirmekte olduğumuz proje ile tüm bu negatif faktörleri ortadan kaldırarak, işitme engelli bireylere daha yaşanılabilir bir hayat sunmayı hedefliyoruz.