[發(fā)明專利]一種基于學(xué)習(xí)網(wǎng)絡(luò)的缺失佛焰苞RGB圖像修復(fù)方法

在審

• 申請?zhí)枺?/td>: 202310630807.2
• 申請日: 2023-05-31
• 公開（公告）號: CN116612363A
• 公開（公告）日: 2023-08-18
• 發(fā)明（設(shè)計）人: 韋鴻鈺;馬稚昱;李家輝;劉洪利;褚璇
• 申請（專利權(quán)）人: 仲愷農(nóng)業(yè)工程學(xué)院
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06N5/04;G06N3/0464;G06N3/08;G06T5/30
• 代理公司: 廣州市合本知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44421
• 代理人: 梁華行

1.一種基于學(xué)習(xí)網(wǎng)絡(luò)的缺失佛焰苞RGB圖像修復(fù)方法，其特征在于，包括以下步驟：

步驟1、采集佛焰苞圖像901張，其中726張用于訓(xùn)練，175張用于測試，這些圖像均為完整的佛焰苞圖像，且每一張圖像只含一個佛焰苞，為提高模型的學(xué)習(xí)能力，在模型訓(xùn)練前，利用離線增強的方式對訓(xùn)練集的726張圖像進行縮放、旋轉(zhuǎn)、平移，最終得到5320個增強后的訓(xùn)練樣本，隨機生成缺失掩碼用于圖像訓(xùn)練；

對測試集的175張圖像，按照缺失類型和缺失面積生成15組測試樣本，共2625張圖像，其中缺失類型包括三種，缺失比例包括五種，每一組測試集均由175張測試圖像按要求生成，這樣劃分?jǐn)?shù)據(jù)集的目的是為了方便后續(xù)評價模型對不同缺失類型和不同缺失比例佛焰苞圖像修復(fù)的性能；

步驟2、將訓(xùn)練用原始圖像數(shù)據(jù)集輸入到隨機缺失生成算法中，得到缺失的佛焰苞圖像，隨后將缺失佛焰苞圖像輸入到深度卷積神經(jīng)網(wǎng)絡(luò)中，進入深度卷積神經(jīng)網(wǎng)絡(luò)的區(qū)域識別模塊，對佛焰苞的缺失區(qū)域進行識別，再經(jīng)過循環(huán)特征推理模型漸進的對佛焰苞特征進行提取、學(xué)習(xí)并推理出完整的佛焰苞特征；

步驟3、經(jīng)特征融合模塊對每一次循環(huán)的推理獲取的佛焰苞特征進行融合得到最終的佛焰苞特征；網(wǎng)絡(luò)的損失函數(shù)設(shè)定了多種損失函數(shù)，采用隨機梯度下降法進行網(wǎng)絡(luò)訓(xùn)練，迭代次數(shù)為16000，得到訓(xùn)練好的缺失佛焰苞RGB圖像修復(fù)網(wǎng)絡(luò)；

步驟4、最后，利用訓(xùn)練好的缺失佛焰苞RGB圖像修復(fù)網(wǎng)絡(luò)對缺失佛焰苞圖像進行修復(fù)，得到完整的佛焰苞圖像。

2.根據(jù)權(quán)利要求1所述的一種基于學(xué)習(xí)網(wǎng)絡(luò)的缺失佛焰苞RGB圖像修復(fù)方法，其特征在于：所述區(qū)域識別模塊主要完成佛焰苞待填充區(qū)域的生成過程，通過局部卷積層PConv可以區(qū)分有效像素和無效像素，同時待填充區(qū)域在每一次循環(huán)中也可以得到更新，在局部卷積過程中需要輸入Mask圖像以及佛焰苞特征圖，其原理如下：

式中，f_xy和m_xy是以點(x，y)為中心的卷積核窗口范圍內(nèi)限定的佛焰苞特征圖和Mask圖，為局部卷積層輸出的第z個卷積核，通過限定的佛焰苞特征圖和Mask圖的逐點乘積得到有效的佛焰苞卷積區(qū)域，最終局部卷積后的佛焰苞特征圖中的任一點為為了更好的利用有效像素邊緣的信息，通過比例系數(shù)可以加大掩碼邊緣的有效點像素的權(quán)重，局部卷積后，需要為下一次局部卷積的待填充區(qū)域進行更新，RFR采用了形態(tài)學(xué)圖像膨脹方法對Mask進行膨脹，其中膨脹大小取決于設(shè)置的窗口半徑。

3.根據(jù)權(quán)利要求2所述的一種基于學(xué)習(xí)網(wǎng)絡(luò)的缺失佛焰苞RGB圖像修復(fù)方法，其特征在于：所述循環(huán)特征推理模塊主要完成佛焰苞特征提取、學(xué)習(xí)和缺失特征推理過程，所述循環(huán)特征推理模塊采用Inception組件對卷積層進行改進；

Inception組件運算過程為：

其中，分別表達(dá)1x1卷積、3x3卷積、5x5卷積、最大池化Max?Pooling的輸出，h⁽ⁱ⁾為對四個組件維度上拼接并對拼接結(jié)果進行卷積的最終結(jié)果，表示第i層1x1卷積的權(quán)重矩陣，卷積核的大小為1x1，同理，分別代表3x3卷積和5x5卷積的權(quán)矩陣，X⁽ⁱ⁾為上一層網(wǎng)絡(luò)輸出佛焰苞特征圖，分別代表1x1卷積、3x3卷積和5x5卷積的偏置項，ReLU、LeakyReLU分別代表不同的激活函數(shù)，最后，得到完整的循環(huán)特征推理網(wǎng)絡(luò)結(jié)構(gòu)。