#20220164 İnsansız Hava Aracı (İHA) İçin Bilgisayarlı Görü Sistemi ve İnsansız Kara Aracı (İKA) ile Hedefe Gitme

Bu projenin amacı, ful-otonom ve sürü İHA ve İKA sistemi geliştirmektir. Oluşturulan sistemde İHA’ya bilgisayarlı görü sistemi entegre ederek nesnelerin havadan tespiti ve İKA’ların oraya yönlendirilmesi hedeflenmektedir. İKA’ların hedefe giderken önüne çıkacak olan engel ve problemleri aşarak hedefe sorunsuz gidebilmesi beklenmektedir. Ayrıca sistem için geliştirilecek olan algoritmaların ve yapay zekanın yüksek doğruluk ile çalışması amaçlanmaktadır. Proje tamamlandıktan sonra sonuçların analiz edilip, sistemi prototip haline getirip savunma sanayi iş birliğinde ürün haline getirmek hedeflenmektedir. Bu çalışma birçok alanda faydalı olabilecek özelliklere sahiptir. Savunma sanayi alanında askeri operasyonlarda kullanabilir. Tarım alanına da entegre edilebilir ve tarımı kolaylaştırabilir. Bunların yanında, afet durumlarında afetin yönetimi, arama kurtarma gibi durumlarda yine rahatlıkla kullanabilecektir

Günümüz savunma sanayi teknolojilerinde insansız otonom sistemlere ilgi ve yatırımlar her geçen gün artmaktadır. İnsansız kara araçları (İKA) ve insansız hava araçları (İHA) bu konuda başlıca gelişen sistemlerdir. İKA, kara üzerinde hareket eden ve fiziksel olarak içinde insan bulunmayan araçların genel ismidir. İHA’lar ise yer kontrolle veya otonom uçabilen araçlardır. İHA’nın hava pozisyonunu kullanan bilgisayarlı görü sistemleri, yer hedeflerini bulabilme konusunda etkilidir. Bilgisayarlı görü sistemleri dijital görüntülü materyallerin bilgisayar tarafından anlamlandırılmasını sağladığımız sistemlerdir. Projede hedef objeyi (bölgeyi) bulma noktasında İHA’ya (İnsansız Hava Aracı) entegre edilen bilgisayarlı görü sistemi kullanılacaktır. İHA’ya takılacak olan Raspberry Pi (kredi kartı boyutlarında bilgisayar), nesne tespiti modeline sahip olacak ve İHA kamerasından gelen görüntüleri anlık işleyebilecektir. Kullanacağımız alan tarama algoritmaları ile İHA, alanı otonom şekilde tarayacaktır. Böylece IHA hedefin yakınından geçtiği zaman, hedef rahatlıkla IHA’nın görüş açısına girecek ve anlık olarak nesne tespiti modeli tarafından hedef tespit edilecektir. Hedefi bulduktan sonra geliştireceğimiz algoritma ile İHA, ilk önce hedefi görüş alanına göre ortalayarak, belirlenen GPS koordinatını İKA’ya otonom bir şekilde iletecektir. Yapacağımız insansız kara araçları 4 tekerli ve arazide gitmeye uygun güçlü motorlara sahip olacaktır. Bu motorların yönetiminde ve hareket dedektörü sensörlerinin anlamlandırılması gibi işlerde Arduino kullanılacaktır. Lidar ve kamera gibi daha kompleks sensörlerin bağlanmasında, görüntü işlemede Raspberry Pi kullanılacaktır. Geliştirilen İKA’lar, İHA’dan aldığı hedef koordinatlara, kullandığı GPS ve algoritmalar sayesinde hiçbir engele çarpmadan, kaçarak otonom bir şekilde gidecek ve hedefe ulaşıp görevi tamamlayacaktır.

İnsansız hava ve kara araçlarına olan ilgi gün geçtikçe artmaya devam etmektedir. Artan ilgi beraberinde çözüm bekleyen sorunlar getirmeye başlamaktadır. İnsansız kara aracının hızlı bir şekilde verilen hedefe gitmesi ve insansız hava aracına entegre edilen bilgisayarlı görü sisteminin yüksek doğruluk ile çalışabilmesi gerek askeri alanda gerekse orman yangınlarının tespiti gibi konularda çok önemli bir detay olarak belirtilmektedir. Bu sorunlara çözüm olması amacıyla bu projeye başlanmıştır. İHA’ya entegre edilen bilgisayarlı görü sistemi anlık olarak İHA’daki kameradan gelen dijital görselleri işleyecektir ve nesne tespiti yapacaktır. Nesne tespit etmek için YoloV5 Nano kullanılacaktır. Günümüzde nesne tespiti modeli eğitimindeki en önemli etkenlerden biri kullanılacak veri setidir. Nesne tespitinde kullanılan veri tipi dijital görsellerden oluşmaktadır. Probleme özel veri seti oluşturmak zordur çünkü aradığınız spesifik nesneyi içermesi gerekmektedir. Bununla birlikte gerçek ortamda farklı zorluklar da çıkmaktadır. İHA uçurmanın yasak olduğu bölgelerin olması, olumsuz hava koşulları ve aranan nesnelerin ortamda bulunmaması gibi durumlar veri setinin oluşturulabilmesini zorlaştırmaktadır. Bu probleme çözüm olarak simülasyon ortamında, istenilen koşullar sağlanarak, gerçekçi dijital görseller ile veri seti oluşturulması hedeflenmektedir. Simülasyon ortamı, Unreal Engine (grafik motoru) tabanlı ihtiyaçlarımıza göre değiştirilmiş bir otonom araç simülasyonu olan CARLA Simulation aracılığıyla sağlanacaktır. Simülasyon ortamında sanal İHA’ya entegre edilecek olan segmentasyon kamerası aracılığıyla her bir nesnenin farklı renkte gözüktüğü dijital görseller elde edilecektir. Geliştireceğimiz algoritma ile görsellerdeki renk farklılıklarını maskeleyerek nesnelerin sınırlayıcı kutularının koordinatları bulunabilecektir. Bu sayede verilerin etiketlenmesi insan eli değmeden yapılacaktır. Bu yaklaşım ile yüksek sayıda kaliteli veri elde ederek, yüksek doğrulukla nesne tespit modeli geliştirilecektir. Sürü şekilde hareket eden İHA’lar yakın zamanda büyük popülerlik kazanmıştır. Bu sürüler sadece İHA’lardan oluşmaktadır ancak hem İHA hem İKA’lardan oluşan sürüler ile ilgili çok çalışma yapılmamıştır. Çalışmamızda İKA’lar hem kendi içinde hem İHA ile iletişim halinde olup koordinasyon içerisinde olacaktır. İKA’lar hedefe otonom şekilde giderken önüne çıkan engellerden de kaçması planlanmaktadır. Bu sistem de hali hazırda robot işletim sisteminde (ROS[en]) bulunan H-SLAM, robot_localization, GMapping ve RViz gibi navigasyon kütüphaneleri birlikte kullanılarak, geliştireceğimiz algoritmaları da bu sisteme entegre ederek özgün bir çalışma ortaya konulacaktır

insan gücü olarak ros ve yazılım bilen insanlar gereklidir. Elektronik parça ve gerekli donanımlar ulaşılabilirdir.

1. Glenn Jocher, et al. Ultralytics/yolov5: V6.0 - Yolov5n \'nano\' Models, Roboflow Integration, Tensorflow Export, Opencv DNN Support. v6.0, Zenodo, 12 Oct. 2021, p., doi:10.5281/zenodo.5563715. 2. India, Abhinav Jain IBM Research, et al. “Overview and Importance of Data Quality for Machine Learning Tasks.” Overview and Importance of Data Quality for Machine Learning Tasks | Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, 1 Aug. 2020, https://dl.acm.org/doi/abs/10.1145/3394486.3406477. 3. (PDF) H-slam: Rao-blackwellized particle filter slam using Hilbert maps. ResearchGate. (n.d.). Retrieved December 24, 2021, from https://www.researchgate.net/publication/324912571_H-SLAM_RaoBlackwellized_particle_filter_SLAM_using_Hilbert_Maps. 4. Robot localization - docs.ros.org. (n.d.). Retrieved December 24, 2021, from http://docs.ros.org/en/lunar/api/robot_localization/html/_downloads/robot_localization_ias13_revised.pdf. 5. Improved techniques for grid mapping ... - uni-freiburg.de. (n.d.). Retrieved December 24, 2021, from http://www2.informatik.uni-freiburg.de/~stachnis/pdf/grisetti07tro.pdf 6. Lee, Sung-Ho, et al. RViz: A Toolkit for Real Domain Data Visualization ... https://www.researchgate.net/publication/275524447_RViz_a_toolkit_for_real_domain_data_visualization. 7. Koenig, N., and A. Howard. “Design and Use Paradigms for Gazebo, an Open-Source Multi-Robot Simulator.” 2004 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) (IEEE Cat. No.04CH37566), doi:10.1109/iros.2004.1389727. 8. Dosovitskiy, Alexey, et al. “Carla: An Open Urban Driving Simulator.” ArXiv.org, 10 Nov. 2017, arxiv.org/abs/1711.03938. 9. Güzel, Mehmet Serdar, et al. “A Novel Framework for Multi-Agent Systems Using a Decentralized Strategy.” Robotica, vol. 37, no. 4, 2018, pp. 691–707., doi:10.1017/s0263574718001261. 10. Meier, Lorenz et al. “PX4: A node-based multithreaded open source robotics framework for deeply embedded platforms.” 2015 IEEE International Conference on Robotics and Automation (ICRA) (2015): 6235-6240.

-

Savunma sanayi faaliyetlerinde çok etkili olacaktır.

Öncelikle, proje simülasyon ortamında yapılacaktır ardından gerçek ortamda denenecektir. Simülasyon olarak Gazebo kullanılacaktır. Hem simülasyon ortamında hem de gerçek ortamda probleme göre değiştirilmiş 3dr SOLO drone, İHA olarak görev alacaktır. Görüntü elde etmek için; İHA’ya GoPro Hero 4 kamera monte edilecektir. Görüntü işleme için; nesne tespiti modeli olan YoloV5 nano kullanılacaktır. Bu modelin eğitiminde ise sentetik veri seti kullanılacaktır. Bu veri setindeki dijital görüntüler Carla otonom araç simülasyonunda oluşturulacaktır . Dijital görüntünün etiketlenmesi ise segmentasyon kamerasından elde edilen görüntüler sayesinde sağlanacaktır. Bu görüntülerdeki belirgin renk farklılıklarının maskeleme algoritması ile ayırt edilmesi sayesinde nesnelerin sınırlayıcı kutusunun koordinatları bulunacaktır. İnsansız kara araçlarında (İKA) düşük seviye görevlerde (motor kontrolü, odometri vb.) Arduino mega kartı, daha kompleks işlerde (Lidar, kamera, gps vb.) Raspberry Pi 3 Model B kullanılacaktır. Yazılım olarak ROS (robotik işletim sistemi) raspberry içerisinde yüklenecektir. İHA’dan gelen hedefin koordinatlarına gitmek için potential field, H-SLAM, robot_localization, GMapping ve RViz gibi kütüphaneler kullanılacaktır. RPLidar sensörü objelerden kaçmak için bu algoritmaya yardımcı olacaktır. İHA ve İKA’ların iletişiminde ROS kütüphanesinin MAVLink protokolü kullanılacaktır. Bu protokol sayesinde hedefin gps koordinatlarını İHA, İKA’ya başarılı bir şekilde iletecektir. İHA’nın kontrolünde ise PX4 uçuş kontrol yazılımı kullanılacaktır.