[發明專利]基于FPGA卷積神經網絡的航拍圖像實時去霧方法及無人機

有效

• 申請號: 201811358348.2
• 申請日: 2018-11-15
• 公開（公告）號: CN109493300B
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 羅林燕;譚鑫;蔣自成;馬維力;黃新景
• 申請（專利權）人: 湖南鯤鵬智匯無人機技術有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 長沙國科天河知識產權代理有限公司 43225
• 代理人: 朱桂花

本發明提供一種基于FPGA卷積神經網絡的航拍圖像實時去霧方法及無人機，包括步驟：通過FPGA部署卷積神經網絡模型，在不同場景訓練卷積神經網絡模型，得到各場景下的去霧參數；選取去霧參數，將去霧參數例化在FPGA內部的RAM中；獲取第i?1幀圖像與第i幀圖像，求取第i?1幀圖像的暗通道圖像并計算第i?1幀圖像的大氣光值A_i?1；對第i幀圖像進行卷積神經網絡運算，計算第i幀圖像的粗糙透射率t'_i(x)；獲取第i幀圖像的灰度圖像；將粗糙透射率t'_i(x)與灰度圖像進行引導濾波，計算獲取第i幀圖像的精細透射率t_i(x)；將A_i?1、t_i(x)與第i幀圖像I_i(x)運算，獲取第i幀圖像的去霧圖像J_i(x)。具有較好地普適性，同時能夠滿足實時性要求。本發明應用于圖像處理領域與計算機視覺領域。

技術領域

本發明涉及圖像處理領域與計算機視覺領域，尤其涉及一種基于FPGA卷積神經網絡的航拍圖像實時去霧方法及無人機。

背景技術

目前，無人機在測繪、巡查、災害防治等領域的運用越來越廣泛。無人機作業或者啟用視覺導航飛行時，很大程度上依賴于成像質量較高的無人機圖像。當無人機在中高空飛行時，在霧、霾等不良天氣條件下，由于大氣中氣溶膠的散射作用，使得大氣能見度降低，航拍圖像的質量和清晰度嚴重受到影響，導致無人機圖像出現退化和模糊的問題，圖像顏色的自然程度和圖像對比度大大降低，使圖像中的基本信息特征失真、受損，進而影響無人機的視覺導航、目標實時追蹤等后期任務。因此，對無人機獲取的圖像進行機載實時去霧處理有著重要的研究和應用價值。

目前，圖像去霧算法主要分為三類：第一類是基于圖像增強的方法；第二類，基于物理模型的圖像復原方法；第三類，是基于深度學習的圖像去霧方法。

基于圖像增強的方法的現有研究有：“一種基于直方圖均衡化的數字圖像去霧方法，申請號：201510609664.2，發明設計人：張岱等”與“一種圖像去霧處理方法，申請號：201410448950.0，發明設計人：張文利等”。第一類方法由于沒有考慮圖像降質的原因，不是目前研究的主流。

基于物理模型圖像復原的圖像去霧方法的研究有：“一種圖像去霧方法及其在FPGA上的實現方法，申請號：201610410849.5，發明設計人：楊藝等”、“一種基于FPGA的實時水面濃霧場景圖像增強方法，申請號：201711419415.2，發明設計人：張弘等”、“基于FPGA的視頻去霧方法及系統，申請號：201510175410.4，發明設計人：歐陽平等”、“一種基于CUDA的低照度圖像增強并行優化方法，申請號：201510245810.8，發明設計人：沈沛意等”、“一種基于CUDA的圖像實時去霧方法，申請號：201310017014.X，發明設計人：蘭時勇等”、“FPGA的高性能暗原色先驗算法設計，計算機工程與應用，vol.51,No.9,2015，作者：蔣守歡等”、“改進的暗通道去霧算法在多核DSP上的并行實現，武漢大學學報(理學版)，Vol.62,No.6,2016，作者：匡嬌嬌等”

近年來，隨著深度學習技術的發展，利用深度學習進行圖像去霧也有相關研究出現。例如“一種基于深度學習的單幅圖像去霧方法，申請號：201710613638.6，發明設計人：鄒月嫻等”與“一種基于深度學習的單幅圖像去霧算法，申請號：201710113254.8，發明設計人：肖進勝等”。

對于無人機的視覺導航、災難搜救、目標追蹤等應用來說，不僅要求能實時提供清晰的去霧圖像，而且作為機載圖像處理的前端部分，要求圖像去霧模塊花費盡可能小的硬件成本、功耗成本、重量成本、體積成本，另外需去霧模塊能夠滿足多個場景的去霧要求，如山區、海面、城區等。

在上述介紹的技術研究中，基于圖像增強的去霧算法，沒有考慮圖像降質的原因，能提高霧天圖像對比度，突出圖像細節，然而對圖像信息會造成一定損失，去霧效果一般。