[發明專利]基于深度學習的光場圖像雪花或雨帶檢測去除方法及設備

有效

• 申請號: 202010243333.2
• 申請日: 2020-03-31
• 公開（公告）號: CN111445465B
• 公開（公告）日: 2023-06-16
• 發明（設計）人: 晏濤;丁宇陽;李明悅
• 申請（專利權）人: 江南大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/70;G06T7/62;G06T5/00;G06N3/0464
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 樓高潮

1.一種基于深度學習的光場圖像雪花或雨帶檢測與去除方法，其特征在于，包括：

步驟S11、檢測器利用3D殘差網絡，檢測獲取的第一光場圖像中雪花或雨帶的位置及尺寸；

步驟S13、生成器采用3D?U型網絡，通過自學習將檢測出的第一光場圖像中的雪花或雨帶去除，得到第二光場圖像；

步驟S15、判別器獲取第二光場圖像與第三光場圖像，通過判斷區分第二光場圖像與第三光場圖像的真偽來優化判別器的目標函數，第三光場圖像為與第一光場圖像在同一場景下的無雪花或雨帶的光場圖像；

步驟S17、通過峰值信噪比和結構相似性來評估生成的第二光場圖像的質量，若評估結果不符合要求，再次執行步驟S11,S13,S15，直至評估結果滿足要求；

其中，所述利用3D殘差網絡，檢測獲取的第一光場圖像中雪花或雨帶的位置及尺寸，包括：利用3D殘差網絡，得到第一光場圖像的雪花或雨帶數據的掩膜；

所述利用3D殘差網絡，得到第一光場圖像的雪花或雨帶數據的掩膜，包括：根據3D殘差網絡設定殘差塊；設定第一、第二卷積層參數，每個殘差塊分別使用第一卷積層及第二卷積層；在使用第一卷積層及第二卷積層之后，添加標準化操作和長短時記憶網絡，得到第一光場圖像的雪花或雨帶數據的掩膜；

所述采用3D?U型網絡，將檢測出的第一光場圖像中的雪花或雨帶去除，得到第二光場圖像，包括：根據所述掩膜，利用3D?U型網絡去除第一光場圖像中的雪花或雨帶，得到第二光場圖像；

所述利用3D?U型網絡去除第一光場圖像中的雪花或雨帶，得到第二光場圖像，包括：根據位置關系，將3D?U型網絡分為編碼器網絡與解碼器網絡；分別采用編碼器網絡及解碼器網絡對雪花或雨帶數據進行編碼及解碼；采用池化層下采樣，設定輸出函數，得到第二光場圖像。

2.根據權利要求1所述的方法，其特征在于，在所述步驟S11之前，還包括：

采集第一光場圖像及第三光場圖像。

3.根據權利要求1所述的方法，其特征在于，所述判別器的目標函數為：

其中，V_T是虛擬場景的3D無雪EPI體積塊真值，為生成的無雪3DEPI體積塊，其中，公式中的D為判別器及其相關參數，G為生成器及其相關參數。

4.一種基于深度學習的光場圖像雪花或雨帶檢測與去除系統，其特征在于，包括：

檢測模塊，用于利用3D殘差網絡，檢測獲取的第一光場圖像中雪花或雨帶的位置及尺寸；

去除模塊，用于生成器采用3D?U型網絡，通過自學習將檢測出的第一光場圖像中的雪花或雨帶去除，得到第二光場圖像；

判別模塊，用于獲取第二光場圖像與第三光場圖像，通過判斷區分第二光場圖像與第三光場圖像的真偽來優化判別器的目標函數，第三光場圖像為與第一光場圖像在同一場景下的無雪花或雨帶的光場圖像；

評估模塊，通過峰值信噪比和結構相似性來評估生成的第二光場圖像的質量，若評估結果不符合要求，再次執行步驟S11,S13,S15，直至評估結果滿足要求；

其中，所述利用3D殘差網絡，檢測獲取的第一光場圖像中雪花或雨帶的位置及尺寸，包括：利用3D殘差網絡，得到第一光場圖像的雪花或雨帶數據的掩膜；

所述利用3D殘差網絡，得到第一光場圖像的雪花或雨帶數據的掩膜，包括：根據3D殘差網絡設定殘差塊；設定第一、第二卷積層參數，每個殘差塊分別使用第一卷積層及第二卷積層；在使用第一卷積層及第二卷積層之后，添加標準化操作和長短時記憶網絡，得到第一光場圖像的雪花或雨帶數據的掩膜；

所述采用3D?U型網絡，將檢測出的第一光場圖像中的雪花或雨帶去除，得到第二光場圖像，包括：根據所述掩膜，利用3D?U型網絡去除第一光場圖像中的雪花或雨帶，得到第二光場圖像；

所述利用3D?U型網絡去除第一光場圖像中的雪花或雨帶，得到第二光場圖像，包括：根據位置關系，將3D?U型網絡分為編碼器網絡與解碼器網絡；分別采用編碼器網絡及解碼器網絡對雪花或雨帶數據進行編碼及解碼；采用池化層下采樣，設定輸出函數，得到第二光場圖像。