[發明專利]基于深度學習的光場圖像雪花或雨帶檢測去除方法及設備

有效

• 申請號: 202010243333.2
• 申請日: 2020-03-31
• 公開（公告）號: CN111445465B
• 公開（公告）日: 2023-06-16
• 發明（設計）人: 晏濤;丁宇陽;李明悅
• 申請（專利權）人: 江南大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/70;G06T7/62;G06T5/00;G06N3/0464
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 樓高潮

本發明公開一種基于深度學習的光場圖像雪花或雨帶檢測與去除方法及系統，方法包括：利用3D殘差網絡，檢測獲取的第一光場圖像中雪花或雨帶的位置及尺寸；采用3D?U型網絡，將檢測出的雪花或雨帶去除，得到第二光場圖像；獲取第二光場圖像與第三光場圖像，通過判斷第二光場圖像與第三光場圖像的真偽來優化判別器及目標函數；通過峰值信噪比和結構相似性指標評估生成的第二光場圖像的質量，若評估結果不符合要求，再次執行步驟S11,S13,S15，直至評估結果滿足要求；本方案，直接檢測雪花或雨帶數據，利用光場圖像具有豐富的三維結構信息的特點檢測并去除雪花或雨帶，自動迭代更新神經網絡模型的中間隱含參數，雪花或雨帶去除效果好。

技術領域

本發明涉及計算機圖像處理技術領域，尤其涉及一種基于深度學習的光場圖像雪花或雨帶檢測去除方法及設備。

背景技術

隨著計算機科學領域在高精尖技術支持下取得巨大發展，計算機視覺領域的研究也獲得了巨大的進步。在計算機視覺領域，光場成像技術應用非常廣泛。相比于傳統相機，光場相機通過單次曝光即可獲取場景的四維信息，包括兩維空間信息和兩維角度信息,因而在圖像重建過程中，能夠獲得更加豐富的圖像信息，此外，還能通過數字重聚焦技術解決特殊場合圖像的失焦、背景目標過多等問題；通過合成孔徑技術實現“透視”監視；在與顯微技術融合后，還能得到多視角大景深顯微圖像，以及重建后的三維立體圖。隨著對光場技術的深入研究，光場圖像處理漸漸被國內外的專家學者所關注，被自動駕駛為代表的工業界用來作為三維場景感知的重要技術手段。光場圖像處理的研究重點為深度估計、超分辨率及圖像修復等方面。

在計算機視覺領域，由于光照、遮擋以及雪花或雨帶自身形狀和顏色的復雜性，單幅圖上的雪花或雨帶去除算法只能依據圖像中的顏色和形狀信息來對雪花或雨帶進行檢測并去除，有很大的局限性，雪花或雨帶去除效果較差。

綜上所述，現有技術方案中缺少一種雪花或雨帶去除效果較好的雪花或雨帶去除方案。

發明內容

本發明實施例提供一種基于深度學習的光場圖像雪花或雨帶檢測與去除方法及系統，以解決現有技術中缺少一種雪花或雨帶去除效果較好的雪花或雨帶去除方案的技術問題。

第一方面，根據本申請實施例提供一種基于深度學習的光場圖像雪花或雨帶檢測與去除方法，包括：

步驟S11、檢測器利用3D殘差網絡，檢測獲取的第一光場圖像中雪花或雨帶的位置及尺寸；

步驟S13、生成器采用3D?U型網絡，通過自學習將檢測出的第一光場圖像中的雪花或雨帶去除，得到第二光場圖像；

步驟S15、判別器獲取第二光場圖像與第三光場圖像，通過判斷區分第二光場圖像與第三光場圖像的真偽來優化判別器的目標函數，第三光場圖像為與第一光場圖像在同一場景下的無雪花或雨帶的光場圖像，也稱作第二光場圖像的真值；

步驟S17、通過峰值信噪比和結構相似性來評估生成的第二光場圖像的質量，若評估結果不符合要求，再次執行步驟S11,S13,S15，直至評估結果滿足要求；

其中，所述利用3D殘差網絡，檢測獲取的第一光場圖像中雪花或雨帶的位置及尺寸，包括：利用3D殘差網絡，得到第一光場圖像的雪花或雨帶數據的掩膜；

所述利用3D殘差網絡，得到第一光場圖像的雪花或雨帶數據的掩膜，包括：根據3D殘差網絡設定殘差塊；設定第一、第二卷積層參數，每個殘差塊分別使用第一卷積層及第二卷積層；在使用第一卷積層及第二卷積層之后，添加標準化操作和長短時記憶網絡，得到第一光場圖像的雪花或雨帶數據的掩膜；

所述采用3D?U型網絡，將檢測出的第一光場圖像中的雪花或雨帶去除，得到第二光場圖像，包括：根據所述掩膜，利用3D?U型網絡去除第一光場圖像中的雪花或雨帶，得到第二光場圖像；