#20220356 Görüntü İşleme ve Derin Öğrenme Tabanlı Kalite Kontrol Sistemi

Fabrikanın üretim bandından çıkan bobinlerde kopuk tel (hatalı sarım) kusuru olan bobinlerin ayrımı için kamera görüntülerini ön işleme ve derin öğrenme yöntemleri kullanılarak analiz yapılarak hatanın saptanması planlanmıştır. Bu üretim bandında hataları tespit etmek için sarım bittikten sonra 4 kamerada 8 farklı açıdan bobinlerin renksiz fotoğrafları çekilmekte ve mevcut sistem hatasızları ayırmaktadır, ancak hatasız olduğu halde plastik kısmının pürüzsüz olmamasından kaynaklı ayrılan yalancı kopuk kablolar (yanlış hatalı sarım etiketlenen tel) hatasız bobinlerin de hurdaya çıkmasına sebep olmaktadır. Bu durum fabrikaya maliyet olarak yansımaktadır. Mevcut sistem görüntü işleme teknikleri kullanarak bu işlemi gerçekleştirmektedir bu yöntem girdi olarak aldığı görüntüleri dijital forma dönüştürdükten sonra birtakım işlemler gerçekleştirerek amaca yönelik bilgi çıkarımı yapmaktadır. Bu yöntemin zayıf yönü ışık, gürültü gibi görsel üzerinde bulunabilecek sorunlarda başarılı sonuçlar üretememesidir -bu yöntem bu yönüyle yanlış hatalı satım etiketlemeye eğilimlidir-. Bu projedeki amacımız kendi evrişimsel sinir ağımızı ve başarımı kanıtlanmış farklı evrişimsel sinir ağlarını (VGG16, VGG19, ResNet, …) kullanarak elimizde bulunan hatalı ve yanlış hatalı bobin görselleriyle eğitim gerçekleştirmek ve eğittiğimiz bu modellerle kurmuş olduğumuz sistem ile yüksek doğrulukta kusurlu ve kusursuz bobin ayrımını gerçekleştirmektir.

Proje kapsamında ele alınan konu incelendiği zaman gelişen yapay zekâ teknolojisine ayak uydurarak, bir sonraki endüstri adımına geçiş yapan fabrikaların daha az iş gücü ile daha hızlı ve sorunsuz bir üretim gerçekleştirdiği görülmektedir. Yapılan literatür araştırması ile de görüntü işleme ve derin öğrenme tabanlı görüntü sınıflandırma alanında yapılan birçok projenin insan gücünden tasarruf sağlayarak daha hızlı ve sürdürülebilir bir çalışma alanı oluşturduğu görülmüştür. Proje kapsamında literatürde başarımı kanıtlanmış ve kendimizin tasarladığı evrişimsel sinir ağı modellerini, hatalı bobinlerin ayrıştırılması problemini çözmek için kullanıp başarımlarını karşılaştıracağız. Projenin amacı olan derin öğrenme tabanlı bir görsel sınıflandırma sisteminin tasarlanması fabrikada kullanılan mevcut sistemden daha dinamik bir akıllı bir yapı inşa ederek akıllı fabrika uygulamaları kapsamında yapay zekanın fabrikaya kazandırılmasını sağlayacaktır.

Üretilen bir üründeki kusurların tespiti için, manuel yerinde gözleyerek keşif uygulamasına alternatif olarak, görüntü analiz tekniklerinden yararlanılmaya başlanmıştır. Ancak görüntü işleme tekniklerinde gölge, ışık, gürültü gibi sorunlardan kaynaklanabilecek hatalı tahminler gerçekleştirilebilir. Görüntü işleme, görüntüyü dijital form haline getirerek ve bazı işlemleri gerçekleştirmek için geliştirilmiş, amaca yönelik görüntü elde etmek, bilgi çıkarmak için kullanılan yöntemdir. Görüntü işlemenin girdisi video kaydı veya fotoğraf gibi bir görüntüdür. Çıktısı ise görüntünün istenilen ya da dikkat edilmesi gereken bölümünün işaretlenmesidir. Sanayi, güvenlik, jeoloji, tıp, tarım gibi çeşit alanlarda kullanılmaktadır. Bu proje de ise görüntü işleme ve derin öğrenme birlikte kullanılarak bu alanda yenilikçi bir çözüm bulunmaya çalışılmış ve daha yüksek başarıma sahip sonuçlar elde edilmiştir.

Projenin gerçekleştirilmesi için gerekli olan insan gücü, teknoloji ve malzemeler günümüzde mevcuttur bu sebeple proje uygulanabilirdir.

Doç. Dr. Deniz KILINÇ, deniz.kilinc@bakircay.edu.tr, 05306663654

Proje toplumda son kullanıcı olarak ifade edilen araç kullanıcılarının şikayetlerini azaltacak ve hatta hatadan kaynaklanabilecek maddi veya sağlıksal herhangi bir sorunun da önüne geçecektir.

Üretilen bir üründeki kusurların tespiti için, manuel yerinde gözleyerek keşif uygulamasına alternatif olarak, görüntü analiz tekniklerinden yararlanılmaya başlanmıştır. Ancak görüntü işleme tekniklerinde gölge, ışık, gürültü gibi sorunlardan kaynaklanabilecek hatalı tahminler gerçekleştirilebilir. Görüntü işleme, görüntüyü dijital form haline getirerek ve bazı işlemleri gerçekleştirmek için geliştirilmiş, amaca yönelik görüntü elde etmek, bilgi çıkarmak için kullanılan yöntemdir. Görüntü işlemenin girdisi video kaydı veya fotoğraf gibi bir görüntüdür. Çıktısı ise görüntünün istenilen ya da dikkat edilmesi gereken bölümünün işaretlenmesidir. Sanayi, güvenlik, jeoloji, tıp, tarım gibi çeşit alanlarda kullanılmaktadır. Derin öğrenme; derin yapılandırılmış öğrenme, hiyerarşik öğrenme ya da derin makine öğrenmesi olarak da tanımlanır. Bir veya daha fazla gizli katman içeren yapay sinir ağları ve benzeri makine öğrenme algoritmalarını kapsayan çalışma alanıdır. En az bir adet yapay sinir ağının kullanıldığı ve birçok algoritma ile, bilgisayarın eldeki verilerden yeni veri-bilgi elde edildiği yöntemdir. Derin öğrenme gözetimli, yarı gözetimli veya gözetimsiz olarak gerçekleştirilebilir. Sık kullanılan derin öğrenme yöntemlerine örnek verirsek; evrişimli sinir ağı (convolutional neural network), tekrarlayan sinir ağı (recurrent neural network), sınırlı Boltzmann makinesi (restricted Boltzmann machine) ve Autoencoderlar sayılır. Görüntü İşleme yöntemi ile duvarlardaki defektlerin bulunması için yapılan bir çalışmada; makine öğrenme teknikleri ve yönlendirilmiş filtreler (streable filters) ile veriler analiz edilmiş ve modelin tahmin doğruluğu %85,3 bulunarak, iyi bir performans sağlandığı bildirilmiştir. Benzer konuda binalardaki kusurları belirlemek için yapılan bir diğer çalışmada derin öğrenme yöntemlerinden evrişimsel sinir ağı algoritması ile analiz gerçekleştirerek tüm kusurlar için %87,5 oranında doğru tahmin gerçekleştirilmiş, alt grup bozulmaların içinde küflü duvar yüzeyinin tanınmasında 7 tahmin doğruluğu %92 olarak bulunmuştur. Derin öğrenme ve bilgisayarla görme teknikleri kullanarak çelik tel halatlar için yüzey hasar tespitinin incelendiği çalışmada da evrişimsel sinir ağı ile çözümleme yapılarak, çok yüksek doğrulukta hasar tespit tahmin performansı olduğu bildirilmiştir. Birçok farklı mimari birçok farklı veri setinde denenmiş ve başarımları karşılaştırılmıştır. Imagenet veri seti kullanılarak gerçekleştirilen bir çalışma ile (He et al., 2015) ResNet modeli tanımı ile ortaya atılmış ve başarımı VGG gibi daha önceden başarımını kanıtlamış modeller ile karşılaştırılmıştır. Düz evrişimli sinir ağı ve kalıntı bloklarının eklenmesi ile tasarlanmış ResNet modelleri 18 ve 34 katman olmak üzere iki farklı şekilde ve derinlikte tasarlanmış ve Imagenet veri setinde deneyler gerçekleştirilmiştir. İki modelinde 18 katmanda çok yakın bir başarım göstermişken katman sayısı 34’e çıktığı zaman düz evrişimsel sinir ağı modelinin başarımının düştüğü görülürken ResNet modelinin başarımı artmakta olduğu gözlemlenmiştir. Modelin bu başarısı kaltıntı blokları denilen yapısı ile geri yayılımda bilgi kaybı sonucu katmanların gittikçe daha az öğrenmesi problemine çözüm getirmesidir. Kaynaklar: 1. Coşkun M, Yıldırım Ö, Uçar A, Demır Y. An overview of popular deep learning methods. (2017). European Journal of Technic. 7(2):165-176 https://dergipark.org.tr/en/download/article-file/437659 2. Gonzalez R.C, Woods R. E. Digital Image Processing.(2008). Third Edition. Chapter 1 p:1, Pearson Education, Inc. Pearson Prentice Hall. http://sdeuoc.ac.in/sites/default/files/sde_videos/Digital%20Image%2 0Processing%203rd%20ed.%20- %20R.%20Gonzalez%2C%20R.%20Woods-ilovepdf-compressed.pdf 3. Hoang N.D. Image Processing-Based Recognition of Wall Defects Using Machine Learning Approaches and Steerable Filters. (2018). Computational Intelligence and Neuroscience. | Article ID 7913952 https://www.hindawi.com/journals/cin/2018/7913952/ 4. Huang X, Liu Z, Zhang X, Kang J, Zhang M, Guo y. Surface damage detection for steel wire ropes using deep learning and computer vision techniques.Measurement 161:107843