[發明專利]一種基于學習網絡的缺失佛焰苞RGB圖像修復方法

在審

• 申請號: 202310630807.2
• 申請日: 2023-05-31
• 公開（公告）號: CN116612363A
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 韋鴻鈺;馬稚昱;李家輝;劉洪利;褚璇
• 申請（專利權）人: 仲愷農業工程學院
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06N5/04;G06N3/0464;G06N3/08;G06T5/30
• 代理公司: 廣州市合本知識產權代理事務所(普通合伙) 44421
• 代理人: 梁華行

本發明公開了一種基于學習網絡的缺失佛焰苞RGB圖像修復方法，包括以下步驟：步驟1、采集佛焰苞圖像901張；步驟2、將訓練用原始圖像數據集輸入到隨機缺失生成算法中，得到缺失的佛焰苞圖像；步驟3、經特征融合模塊對每一次循環的推理獲取的佛焰苞特征進行融合得到最終的佛焰苞特征；步驟4、最后，利用訓練好的缺失佛焰苞RGB圖像修復網絡對缺失佛焰苞圖像進行修復，得到完整的佛焰苞圖像；本發明基于Inception組件結構，構建密集佛焰苞特征的特征學習和推理網絡，提取更豐富的佛焰苞信息，降低了無關特征對佛焰苞修復的干擾從而導致修復錯誤的風險，提高佛焰苞修復的可靠性，實現了對佛焰苞的精準修復。

技術領域

本發明涉及圖像修復技術領域，具體為一種基于學習網絡的缺失佛焰苞RGB圖像修復方法。

背景技術

在圖像修復系統中，目標特征提取和目標缺失特征推理是確保目標正確修復的關鍵；而傳統的特征修復方法需要耗費大量的時間，并且無法正確推理的其他特征，對修復結果造成干擾；因此，本申請提出了基于深度學習網絡的佛焰苞RGB圖像修復方法，無需大量資源浪費就可以得到較高的性能。

發明內容

本發明的目的在于提供一種基于學習網絡的缺失佛焰苞RGB圖像修復方法，以解決上述背景技術中提出的問題。

為了克服大尺度的特征缺失和植物器官個體差異大的問題，本發明提高了一種基于學習網絡的缺失佛焰苞RGB圖像修復方法；首先，對數據集中的佛焰苞圖像數據進行缺失生成，得到深度學習網絡的輸入數據集；然后，進行網絡的訓練；最后，利用訓練好的網絡對五種缺失比例和三種缺失類型，共15組佛焰苞圖像進行修復(其中每組共175個樣本)，得到完整的佛焰苞圖像；由于本發明基于橋接網絡機構，構建出基于Inception的佛焰苞特征推理網絡；提取更豐富的佛焰苞信息，降低了無關特征對佛焰苞修復的干擾從而導致修復錯誤的風險，提高佛焰苞修復網絡的可靠性，實現了對佛焰苞圖像的高效修復。

一種基于學習網絡的缺失佛焰苞RGB圖像修復方法，包括以下步驟：

步驟1、采集佛焰苞圖像901張，其中726張用于訓練，175張用于測試，這些圖像均為完整的佛焰苞圖像，且每一張圖像只含一個佛焰苞，為提高模型的學習能力，在模型訓練前，利用離線增強的方式對訓練集的726張圖像進行縮放、旋轉、平移，最終得到5320個增強后的訓練樣本，隨機生成缺失掩碼用于圖像訓練；

對測試集的175張圖像，按照缺失類型和缺失面積生成15組測試樣本，共2625張圖像，其中缺失類型包括三種，缺失比例包括五種，每一組測試集均由175張測試圖像按要求生成，這樣劃分數據集的目的是為了方便后續評價模型對不同缺失類型和不同缺失比例佛焰苞圖像修復的性能；

步驟2、將訓練用原始圖像數據集輸入到隨機缺失生成算法中，得到缺失的佛焰苞圖像，隨后將缺失佛焰苞圖像輸入到深度卷積神經網絡中，進入深度卷積神經網絡的區域識別模塊，對佛焰苞的缺失區域進行識別，再經過循環特征推理模型漸進的對佛焰苞特征進行提取、學習并推理出完整的佛焰苞特征；

步驟3、經特征融合模塊對每一次循環的推理獲取的佛焰苞特征進行融合得到最終的佛焰苞特征；網絡的損失函數設定了多種損失函數，采用隨機梯度下降法進行網絡訓練，迭代次數為16000，得到訓練好的缺失佛焰苞RGB圖像修復網絡；

步驟4、最后，利用訓練好的缺失佛焰苞RGB圖像修復網絡對缺失佛焰苞圖像進行修復，得到完整的佛焰苞圖像。

其中，所述區域識別模塊主要完成佛焰苞待填充區域的生成過程，通過局部卷積層PConv可以區分有效像素和無效像素，同時待填充區域在每一次循環中也可以得到更新，在局部卷積過程中需要輸入Mask圖像以及佛焰苞特征圖，其原理如下：