#20220216 Görme Engelliler için Mobil Asistan

Projemizin amacı görme engelli kişilere hayatlarında, bir nebze de olsa yardımcı olmaya çalışmak onların ellerinden tutarak yanlarında olduğumuzu hissettirmektir. Bunu ise günümüzde her bireyin sahip olduğu ve yoğunlukla kullandığı telefon ve internet yardımıyla amaçlıyoruz. Hazırlamış olduğumuz mobil uygulama yardımıyla internet üzerinden yapay zekâ algoritmamızı kullanıcıyla buluşturuyoruz. Basit bir kullanışa sahip olan uygulamamızı indirdikten sonra uygulama, internet üzerinden API’mıza bağlanıyor. Kullandığımız FastAPI çekilen veya galeride zaten bulunan fotoğrafı sunucumuza yolluyor. Sunucumuzda bulunan yapay zekâ algoritması fotoğraf üzerinde birtakım işlemler yaparak fotoğraftaki nesnelerin sayısını ve konumunu buluyor, daha sonra bulunan bu nesnelere göre tekrardan bir NLP algoritması çalışıyor ve fotoğrafı anlatan cümleler oluşturuyor. Bu cümleler FastAPI üzerinden mobil uygulamamıza yönlendiriliyor ve en sonda da cümlelerimiz yazıdan sese dönüştürülerek kullanıcıya geri bildirim veriyor. İlk çalışan yapay zekâ algoritmasında YOLOv3 mimarisini MobilNet modeliyle birleştirerek nesne tanımlama yapıyoruz. Daha sonra görüntü yakalama modeline fotoğraf tekrar verilerek bir cümle oluşturuyoruz. En son da ise bu iki modeli harmanlayarak son çıktıyı oluşturuyoruz. Flutter ile oluşturduğumuz mobil uygulamamız oluşan bu çıktıyı bir Flutter eklentisi yardımıyla yazıdan sese dönüştürüyoruz.

Görme engelli insanlar günlük yaşamlarında birçok zorlukla karşılaşırlar. Örneğin bir nesneyi ve özelliklerini tanımlama, yol bulma ve nesne bulma gibi işlerde, sıklıkla başkalarının yardımına ihtiyaç duyarlar veya beyaz baston gibi araçlar kullanmak zorunda kalırlar. Projenin amacı, görme engelli insanlara bir nebze de olsa yardım eli uzatmaktır. Projede, bu insanlara günlük sorunlarında yardımcı olan akıllı bir asistan oluşturmayı hedefliyoruz.

Görme engeline sahip kullanıcılar için gündelik hayatındaki zorluklarda yardımcı olabilmesi için kolayca yanlarında taşıyabilecekleri telefonda çalışan mobil uygulama olması, taşınabilir olması, iki ayrı yapay zekâ modelinin birbirini destekleyerek çalışması, internet ortamında hızlı çalışabilmesi.

Yaptığımız proje, kullanıcı için internet ve telefon haricinde başka bir donanım veya parçaya ihtiyaç duymuyor. Sunucu tarafında ise veri seti ve donanım büyük önem arz ediyor. Günümüzde teknolojinin gelişmesiyle donanımsal kaynağı elde etmek kolaylıkla mümkündür ancak veri seti için uzun bir süreç ve insan kaynağı gerekebilir.

Bulunmamaktadır.

Bulunmamaktadır.

Bu proje hayata geçtiğinde ulaşmak istediğimiz hedef kitle olan görme engelli bireylerin toplum içerisinde ve kendi hayatlarında daha rahat olmalarına katkı sağlanmış olunacaktır. Bu bireyler ortamdaki objelerle temas halinde olmasına gerek kalmadan bulunduğu ortam hakkında fikir edinmiş olacaklardır. Kullanıcının bilinmeyen ortamlara daha hızlı uyum sağlayıp yabancılık çekmemesi sağlanır.

● Introduction to YOLO Algorithm for Object Detection (2021). Retrieved From: https://www.section.io/engineering-education/introduction-to-yolo-algorithm-for-object-detection/ ● What is the COCO Dataset? What you need to know in 2021 (2021). Retrieved From: https://viso.ai/computer-vision/coco-dataset/