#20220225 Kırmızı Kanal Kurtarma Yoluyla Sualtı Görüntülerini İyileştirme

Su altı görüntüleri, ışık saçılması ve emilimi nedeniyle puslu hale gelir ve önemli bilgileri kaybeder, bu da zayıf kontrast dengesine ve renk performansına neden olur. Bu çalışma, su altının karakteristik özelliği dolayısıyla elde edilen fotoğraflardaki görüntü kalitesinin düşüklüğünün üstesinden gelmek için ağırlıklı çok ölçekli füzyon yoluyla suyun altında diğer renk kanallarına oranla daha az kırılan kırmızı kanalın geri kazanılmasına dayanan tek bir sualtı resmi iyileştirmesi için benzersiz bir yaklaşım sunmaktadır. İlk olarak, görünüm hakkında daha fazla bilgi elde etmek için girdiye iki renk dengesi algoritması uygulanır. Ardından, ayrıntıları vurgulamak için girdinin bu dengeli sürümlerinden beş ağırlık haritası çıkarılır. Son olarak, yeni kırmızı kanal, beyaz dengeli yeşil ve mavi kanalların ardından görüntünün kontrastını korumak için gama düzeltmesi ile geliştirilmiş çıktı elde edilir. Geliştirilen yenilikçi bir yaklaşım sunan bu yöntem, orijinal görüntü ile karşılaştırıldığında niteliksel ve niceliksel olarak değerlendirilebilen yüksek kaliteli sualtı görüntüleri üretir. Aynı zamanda elde edilen çıktılar mevcut yöntemlerden de daha iyi performans göstermiştir.

Proje sualtı görüntülerinde yetersiz ışık ve planktonların yol açtığı bulanıklık ve renk bozulmalarının görüntü işleme yöntemleriyle geliştirilmiş olan method ile daha net ve doğru renklerle yeniden oluşturulmasına dayanan bir projedir.

Projenin özgünlüğü, uluslararası düzeyde bu alanda geliştirilmiş olan yöntemlerde kullanılandan farklı özellik çıkartma haritalarının kombinasyonu yapılmış olması ve uygulanan her bir işlemin kırmızı, yeşil ve mavi olarak ayrı ayrı her kanala uygulanarak minimum bilgi kaybı ile kırmızı kanalın baştan oluşturulmasıdır. Geliştirilmiş olan algoritma için patent başvurusu yapılmış bulunmaktadır.

Projenin uygulanabilirliği için iki yol ön görülmektedir. Bunlardan birincisi gerçek zamanlı olarak bir sualtı kamerasından gelen veriyi sürekli olarak algoritmadan geçirilerek iyileştirilmiş görüntü olarak sunulabilir. İkincisi ise son işlem olarak kaydedilen bir görüntünün algoritmadan geçirilerek iyileştirilmiş halinin sonuçlandırılmasıdır. Bu iki yol da şu anki mevcut proje halinde çalışabilmektedir.

Proje hayata geçtiğinde su altı ortamında görüntülemeye ihtiyaç duyulan her konuda toplanan görüntülerin anlaşılabilir olmasını kolaylaştıracak olduğu için su altını daha tanınabilir kılacaktır.

Sualtı ortamının fiziksel özellikleri sualtı görüntülemeyi zorlaştırmaktadır. Birçok durumda, emilim ve dağılım toplanan su altı görüntülerini bozar. Işık sudan geçerken dinamik olarak korunduğundan, su altı görüntüleri düşük görünürlükleri ve bulanıklıkları ile karakterize edilir. Bu nedenle hem görüntüleme hem de inceleme için su altı görüntülerini geliştirmek için ikna edici bir strateji büyük önem taşımaktadır ve gereklidir (Abunaser, 2015). Işık, su altı ortamında, ışıkla aynı dalga boyuna sahip parçacıklar veya sudan farklı bir kırılma listesine sahip parçacıklar tarafından saptırılabilir (Schettini, 2010). Sualtı görüntülerinin kalitesini artırmak için çeşitli çabalar ve araştırmalar devam etmektedir. Tek bir giriş görüntüsündeki bulanıklığı ortadan kaldırmak için, He ve ark. (He, 2011) öncü çalışmalarında karanlık bir kanala öncelik veren bir strateji sunuyor. Bunu daha önce pus görüntüleme yaklaşımıyla entegre ederek, pusun kalınlığını tahmin edebildiler ve yüksek çözünürlüklü pussuz bir görüntü üretebildiler. Yadav ve ark. (CLAHE, 2014), sisli görüşü geliştirmek için kontrast sınırlı uyarlanabilir histogram eşitlemesi (CLAHE) kullandı. 'Distribution' değişkeni, histogramın şeklini belirtmek için kullanılır ve adaptif histogram eşitlemesinden (AHE) daha yüksek kalitede bir sonuç elde edilir. Başka bir çalışmada, Wang ve ark. (Wang, 2018), uyarlanabilir parametre edinimine dayanan batık görüntüleri geliştirmek için basit ama başarılı bir yaklaşım önerdi - göreceli küresel histogram germe (RGHS). Önerilen yaklaşım iki bölüme ayrılmıştır: kontrast iyileştirme ve renk düzeltme. Iqbal ve ark. (Iqbal, 2010), su altı görüntülerini iyileştirmek için denetimsiz bir renk düzeltme yöntemi (UCM) geliştirdi ve bu yöntemde, renk dengesini ve kontrastı ayarlamak için RGB renk modeli ve HSI renk modeli kullanıldı. Ancuti ve ark. (Ancuti,2012) çalışması, füzyon prensiplerine dayanmaktadır ve girdileri ve ağırlık ölçümlerini yalnızca görüntünün bozulmuş formundan türetmektedir. Daha düşük gürültü, karanlık alanların daha iyi pozlanması, daha yüksek genel kontrast ve küçük ayrıntıların ve kenarların önemli ölçüde iyileştirilmesi, iyileştirilmiş fotoğrafları ve filmleri karakterize eder. Ancuti ve ark. (Ancuti, 2018) daha sonra, sonraki bir araştırmada, girdi bozulmuş görüntünün renk dengelemeli ve beyaz dengeli bir versiyonundan doğrudan alınan iki görüntüyü entegre etmeye dayanan tek bir görüntü tekniği oluşturmuştur. Kenarların ve renk kontrastlarının giriş görüntüsüne ve beraberindeki ağırlık haritalarına aktarılmasını iyileştirmek için çok aşamalı bir füzyon tekniği oluşturulmuştur. Karanlık parçaların daha iyi pozlanması, daha fazla global kontrast ve daha keskin kenar keskinliği, geliştirilmiş görselleri tanımlar. Tek bir sualtı görüntüsünün geliştirilmesi çalışmasında, Fu ve ark. (Fu, 2014), üç ana aşamadan (renk düzeltme, yansıtma ve aydınlatma ayrışması ve bulanıklık ve az pozlama için son işlem) oluşan benzersiz bir Retinex tabanlı geliştirme tekniği sunmuştur. Az pozlama ve bulanıklık sorununun üstesinden gelmek için, alternatif yöne sahip etkili bir optimizasyon yaklaşımı kullanılmıştır. Renk düzeltme, karanlık alanları aydınlatma, doğallığı koruma, kenarları ve ayrıntıları geliştirme nihai ürünü iyileştirir. Li ve ark. (Li, 2020), geliştirilmiş bir sualtı beyaz dengesi (UWB) algoritması ile histogram esneme yöntemini kullanmıştır. Hızlı bir Gauss piramidi tabanlı teknik, değişen kontrast ve doygunluk iyileştirmesini içeren VCSE modelinin çözümünü hızlandırmak için tasarlanmıştır. Yaklaşımları renk düzeltme, pus azaltma ve ayrıntı netleştirmede başarılı olmuştur. Yao ve ark. (Yao, 2018), önceki karanlık kanala (DCP) dayanan görsel iyileşme için değiştirilmiş bir strateji önermiştir. Bu çalışmada, odadaki ışık miktarını belirlemek için mavi ve kırmızı kanallar arasındaki fark kullanılmıştır. Bundan sonra, üç RGB kanalının iletimi ayrı ayrı belirlenmiştir. Ardından, kalan renk bozulmasını ayarlamak için renk düzeltme kullanılmıştır. Görme hazinesine ve parlaklığına dayanarak, Peng ve ark. (Peng, 2017), sualtı görüntülerini geliştirmek için kullanılabilecek sualtı sahneleri için bir derinlik tahmini yaklaşımı sunmaktadır. Başlamak için, bir su altı görüntüsünün puslu kısımlarından arka plan ışığını (BL) çıkarmışlardır. Derinlik haritası ve iletim haritaları daha 2 sonra sahne parlaklığını geri kazanmak için BL'ye göre elde edilmiştir. Önerilen yöntem, iyi bilinen sualtı görüntü geliştirme algoritmaları ile karşılaştırılmıştır ve hem istatistiksel hem de görsel olarak çok güçlü çıktılar göstermektedir. Iqbal ve ark. (Iqbal, 2007), sualtı görüntülerinin hissini geliştirmek için slayt germeye dayanan iki bölümlü yöntem sunmuştur. HSI modeli, görüntünün renk bileşenlerini yöneterek renk aralığını genişletir. Bu, görüntünün dijital değerlerinin histogramı kullanılarak ve esnetme değerinin görüntünün çeşitli potansiyel değerleri boyunca dağıtılmasıyla gerçekleştirilmiştir. Doğrusal ölçeklendirme işlevi, kontrast germe tekniği ile piksel değerlerine uygulanmıştır. HSI renk modelinin doygunluk ve yoğunluk değerlerini dönüştürme işlevini kullanarak genişletmişlerdir. Ghani ve ark. (Ghani, 2014) tarafından gösterilen bir başka çalışma, görüntü histogramının değiştirilmesini iki ana renk modelinde birleştirmiştir: RGB ve Ton-Doygunluk-Değer (HSV). RGB renk modelindeki tüm esneme işlemleri Rayleigh dağılımını takip edecek şekilde uyarlanır ve görüntü, S ve V bileşenleri belirli bir dereceye kadar değiştirilerek HSV renk modeline dönüştürülmüştür. Drews-Jr ve ark. (Drews-Jr, 2013), gerçek dış mekân koşullarında keşfedilen görüntü özelliklerine dayanan nicel bir önceki olan Dark Channel Öncelikli’nin (DCP) uyarlanmasına bağlı olarak su altı ortamlarında iletimi tahmin etmek için bir yaklaşım sağlamıştır. Bu Sualtı DCP (UDCP) tekniği, mavi ve yeşil renk kanallarını sualtı görsel bilgi kaynağı olarak alır ve bu da mevcut DCP tabanlı sistem üzerinde büyük bir iyileştirmeye izin verir. Song ve ark. (Song, 2018) tarafından yapılan araştırma, önceki su altı ışık zayıflamasına (ULAP) dayanan sualtı görüntüleri için hızlı ve doğru bir sahne derinliği tahmin modeli sunmuştur ve öğrenme tabanlı denetimli regresyon analizini kullanarak model parametrelerini eğitmiştir. R-G-B ışığı için arka plan ışığı (BL) ve iletim eşlemeleri (TM'ler), bu çalışmada su altındaki gerçek sahne aydınlatmasını kurtarmak için doğru derinlik haritasıyla kolayca tahmin edilebilir. Guan ve ark. (Guan, 2009) tarafından Gama düzeltmeye dayalı görsel geliştirme tekniği sunmuştur ve bu çalışma nesnesine göre, tanımlama, orta gri tonlamalı piksel değerlerini korurken düşük gri tonlamalı piksel değerlerini düşürmeyi ve yüksek gri tonlamalı piksel değerlerini yükseltmeyi gerektirmektedir. Galdran ve ark. (Galdran, 2014) DCP tekniğini kırmızı kanalın tersini kullanarak oluşturmuştur ve sırasıyla kırmızı, mavi ve yeşil kanalların TM'sini hesaplamıştır. Sualtı görüntülerini geliştirmek için geleneksel derin öğrenme yöntemleri, sentetik görüntüleri artırmak için en başarılı olanıdır ve gerçek dünya görüntülerini geliştirmek için daha az etkilidir. Sualtı görüntü iyileştirme çalışmalarının derin öğrenme kısmına yönelik iki derin öğrenme algoritması ile çıktılarımızı değerlendirdik. Park ve ark. (Park, 2019), CycleGAN çalışmalarında, bir CycleGAN ile başlayan ve görüntüyü geliştirirken girdinin içeriğini korumak için bir çift ayırıcı ekleyen benzersiz bir yöntem sunmuştur. Sualtı fotoğraflarını geliştirmek için, Li ve ark. (Li, 2019) alternatif bir füzyon ağı sunmuştur. Önerilen ağ, renk tonlarını başarıyla düzeltir ve daha az parametreyle daha hızlı bir test süresine sahiptir. Bu araştırma, sualtı görüntülerini geliştirmek için literatürde bulunmayan bir yol sunuyor. Ağırlık haritası çıkarımı prosedüründe ana bileşen analizi (PCA), iyi pozlama, parlaklık haritası, doygunluk haritası, entropi ve Laplacian kontrast özellikleri kullanılır. Pozlama görüntüleri daha sonra piramidal ayrışma kullanılarak birleştirilir. Kaynakça •AbuNaser, A., Doush, Iyad Abu, Mansour, N., & Alshattnawi, S. (2015). Underwater image enhancement using particle swarm optimization. Journal of Intelligent Systems, 24, 99–115. https://doi.org/10.1515/jisys-2014-0012 • Al-Ameen, Z., Al-Ameen, S., & Al-Othman, A. (2019). Improving the sharpness of digital images using a modified laplacian sharpening technique. IPTEK the Journal for Technology and Science, 29, 44. https://doi.org/10.12962/j20882033.v29i2.3356 • Ancuti, Codruta O, Ancuti, C., De Vleeschouwer, Christophe, & Bekaert, P. (2018). Color balance and fusion for underwater image enhancement. IEEE Transactions on Image Processing, 27, 379–393. https://doi.org/10.1109/tip.2017.2759252 • Ancuti, C., Ancuti, Codruta Orniana, Haber, T., & Bekaert, P. (2012). Enhancing underwater images and videos by fusion. 81–88. https://doi.org/10.1109/CVPR.2012.6247661 • Bodner, B., Wang, Y., & Farnand, S. (2016). Effect of capture illumination on preferred white point for camera automatic white balance. Electronic Imaging, 2016, 1–8. https://doi.org/10.2352/issn.2470-1173.2016.13.iqsp-219 • Buchsbaum, G. (1980). A spatial processor model for object colour perception. Journal of the Franklin Institute, 310, 1–26. https://doi.org/10.1016/0016-0032(80)90058-7 • Burt, P., & Adelson, E. (1983). The laplacian pyramid as a compact image code. IEEE Transactions on Communications, 31, 532–540. https://doi.org/10.1109/tcom.1983.1095851 • Diclehan Karakaya, Oguzhan Ulucan, & Mehmet Türkan. (2021). PAS-MEF: Multiexposure image fusion based on principal component analysis, adaptive wellexposedness and saliency map. CoRR, abs/2105.11809. Retrieved from https://arxiv.org/abs/2105.11809 12 • Fu, X., Zhuang, P., Huang, Y., Liao, Y., Zhang, X.-P., & Ding, X. (2014). A retinexbased enhancing approach for single underwater image. 4572–4576. https://doi.org/10.1109/ICIP.2014.7025927 • Galdran, A., Pardo, D., Picon, A., & Alvarez-Gila, A. (2014). Automatic red-channel underwater image restoration. Journal of Visual Communication and Image Representation, 26. https://doi.org/10.1016/j.jvcir.2014.11.006 • He, K., Sun, J., & Tang, X. (2011). Single image haze removal using dark channel prior. IEEE Transactions on Pattern Analysis and Machine Intelligence, 33, 2341–2353. https://doi.org/10.1109/tpami.2010.168 • Huang, D., Wang, Y., Song, W., Sequeira, J., & Mavromatis, S. (2018). Shallow-water image enhancement using relative global histogram stretching based on adaptive parameter acquisition. MultiMedia Modeling, 453–465. https://doi.org/10.1007/978-3- 319-73603-7\{_}37 • Iqbal, K., Odetayo, M., James, A., Rosalina Abdul Salam, & Abdullah. (2010). Enhancing the low quality images using unsupervised colour correction method. 2010 IEEE International Conference on Systems, Man and Cybernetics. https://doi.org/10.1109/icsmc.2010.5642311 • Iqbal, K., Salam, A., Azam, O., & Talib, A. (2007). Underwater image enhancement using an integrated colour model. IAENG International Journal of Computer Science, 34. • Jr, D., Nascimento, Moraes, F., Botelho, S., & Campos, M. (2013). Transmission estimation in underwater single images. 825–830. https://doi.org/10.1109/ICCVW.2013.113 13 • Kumar, M., & Bhandari, A. K. (2020). Contrast enhancement using novel white balancing parameter optimization for perceptually invisible images. IEEE Transactions on Image Processing, 29, 7525–7536. https://doi.org/10.1109/tip.2020.3004036 • Kumbhar, M. (2021). Image and video dehazing based on gamma correction method contrast enhancement. Elsevier BV. https://doi.org/10.2139/ssrn.3882572 • Li, H., Li, J., & Wang, W. (2019). A fusion adversarial underwater image enhancement network with a public test dataset. • Li, S., Kang, X., Fang, L., Hu, J., & Yin, H. (2017). Pixel-level image fusion: A survey of the state of the art. Information Fusion, 33, 100–112. https://doi.org/10.1016/j.inffus.2016.05.004 • Li, X., Hou, G., Tan, L., & Liu, W. (2020). A hybrid framework for underwater image enhancement. IEEE Access, 8, 197448–197462. https://doi.org/10.1109/ACCESS.2020.3034275 • Li, X., & Wu, J. (203 C.E.). Improved gray world algorithm based on salient detection. Communications in Computer and Information Science, 315–321. https://doi.org/10.1007/978-3-642-37149-3\{_}38 • Lu, H., Li, Y., Zhang, Y., Chen, M., Serikawa, S., & Kim, H. (2017). Underwater optical image processing: a comprehensive review. Mobile Networks and Applications, 22, 1204–1211. https://doi.org/10.1007/s11036-017-0863-4 • Ludvigsen, M., Sortland, B., Johnsen, G., & Singh, H. (2007). Applications of georeferenced underwater photo mosaics in marine biology and archaeology. Oceanography, 20, 140–149. https://doi.org/10.5670/oceanog.2007.14 • Panetta, K., Gao, C., & Agaian, S. S. (2016). Human-visual-system-inspired underwater image quality measures. IEEE Journal of Oceanic Engineering, 41, 541–551. 14 • Park, J., Han, D. K., & Ko, H. (2019). Adaptive weighted multi-discriminator CycleGAN for underwater image enhancement. Journal of Marine Science and Engineering, 7. https://doi.org/10.3390/jmse7070200 • Peng, Y.-T., & Cosman, P. C. (2017). Underwater image restoration based on image blurriness and light absorption. IEEE Transactions on Image Processing, 26, 1579– 1594. https://doi.org/10.1109/TIP.2017.2663846 • Schettini, R., & Corchs, S. (2010). Underwater image processing: State of the art of restoration and image enhancement methods. EURASIP Journal on Advances in Signal Processing, 2010. https://doi.org/10.1155/2010/746052 • Shahrizan, A., & Nor, I. (2014). Underwater image quality enhancement through composition of dual-intensity images and Rayleigh-stretching. 219–220. https://doi.org/10.1109/ICCE-Berlin.2014.7034265 • Song, W., Wang, Y., Huang, D., & Tjondronegoro, D. (2018). A rapid scene depth estimation model based on underwater light attenuation prior for underwater image restoration. https://doi.org/10.1007/978-3-030-00776-8_62 • Tao, Y., Dong, L., & Xu, W. (2020). A novel two-step strategy based on whitebalancing and fusion for underwater image enhancement. IEEE Access, 8, 217651– 217670. https://doi.org/10.1109/access.2020.3040505 • Torres-Méndez, L. A., & Dudek, G. (2005). Color correction of underwater images for aquatic robot inspection. Lecture Notes in Computer Science, 60–73. https://doi.org/10.1007/11585978\{_}5 • Ulucan, O., Karakaya, D., & Turkan, M. (2021). Multi-exposure image fusion based on linear embeddings and watershed masking. Signal Processing, 178, 107791. https://doi.org/10.1016/j.sigpro.2020.107791 15 • Wang, S., Ma, K., Yeganeh, H., Wang, Z., & Lin, W. (2015). A patch-structure representation method for quality assessment of contrast changed images. Signal Processing Letters, IEEE, 22, 2387–2390. https://doi.org/10.1109/LSP.2015.2487369 • Wang, Y., Song, W., Fortino, G., Qi, L.-Z., Zhang, W., & Liotta, A. (2019). An experimental-based review of image enhancement and image restoration methods for underwater imaging. IEEE Access, 7, 140233–140251. https://doi.org/10.1109/access.2019.2932130 • Xu, G., Su, J., Pan, H., Zhang, Z., & Gong, H. (2009). An image enhancement method based on gamma correction. ISCID 2009 - 2009 International Symposium on Computational Intelligence and Design, 1, 60–63. https://doi.org/10.1109/ISCID.2009.22 • Yadav, G., Maheshwari, S., & Agarwal, A. (2014). Contrast limited adaptive histogram equalization based enhancement for real time video system. 2392–2397. https://doi.org/10.1109/ICACCI.2014.6968381 • Yang, M., & Sowmya, A. (2015). An underwater color image quality evaluation metric. IEEE Transactions on Image Processing, 24, 6062–6071. https://doi.org/10.1109/TIP.2015.2491020 • Yao, B., & Xiang, J. (2018). Underwater image dehazing using modified dark channel prior. 5792–5797. https://doi.org/10.1109/CCDC.2018.8408143 • Zhang, W., Li, G., & Ying, Z. (2018). Underwater image enhancement by the combination of dehazing and color correction. Advances in Multimedia Information Processing – PCM 2018, 145–155. https://doi.org/10.1007/978-3-030-00764-5\{_}14 • Zhang, Y., Yang, F., & He, W. (2020). An approach for underwater image enhancement based on color correction and dehazing. International Journal of Advanced Robotic Systems, 17, 172988142096164. https://doi.org/10.1177/1729881420961643