[發明專利]基于多尺度置信度和自注意機制的腸道環境深度補全方法

在審

• 申請號: 202310287841.4
• 申請日: 2023-03-23
• 公開（公告）號: CN116523986A
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 章國道;尹學松;劉儒瑜;吳子朝;秦瑤;劉政喆;戴立婷
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06T7/529;G06T5/50;G06N3/0464;G06N3/084
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 湯明

1.基于多尺度置信度和自注意機制的腸道環境深度補全方法，其特征在于，包括以下步驟：

S1、構建多尺度置信度神經網絡，挖掘稀疏深度數據中潛在的幾何特征，通過將有效的深度像素值擴散到相鄰像素點來填補稀疏深度圖中的空洞，獲得像素分布均衡的完整稠密的深度特征圖和置信度圖，有利于和對應的RGB圖像進行跨模態融合；

S2、構建深度補全網絡，將深度特征圖及置信度圖輸入到深度補全網絡，在對應RGB圖像的指導下融合跨模態特征進行深度補全；

S3、在深度補全網絡中構建基于自注意力機制的結構感知模塊，融合的多模態特征通過結構感知模塊，進一步增強圖像和深度數據中的幾何和紋理特征，提高深度補全的精度。

2.根據權利要求1所述的基于多尺度置信度和自注意機制的腸道環境深度補全方法，其特征在于所述步驟S1中構建的多尺度置信度神經網絡采用編碼-解碼結構，將傳統的編碼解碼框架中的標準卷積層替換為歸一化卷積層；基于置信度信號理論，歸一化卷積可以利用有效像素表示其鄰域像素，從而實現像素擴散和致密化。

3.根據權利要求2所述的基于多尺度置信度和自注意機制的腸道環境深度補全方法，其特征在于所述歸一化卷積層的作用流程如下：

1)歸一化卷積層同時接受兩個輸入，即稀疏深度圖及其對應的置信度圖，其生成估計的深度值的過程如公式(1)所示：

其中，l表示歸一化卷積層的層數，l-1表示上一層的卷積層，表示對應尺度的置信度圖像與原圖像的關聯性；函數Γ(·)＝log(1+exp(·))將的上域轉換為非負值，同時保持曲面的趨勢；Z^l-1表示l-1層的深度圖，C^l-1表示l-1層的置信度圖，b^l是偏置項，是為了防止分母為零添加的常數；

2)為了在層與層之間傳播稀疏深度圖對應的置信掩碼，將公式(1)中計算得到的分母項歸一化為濾波元素之和，具體處理過程如公式(2)所示：

其中，C^l-1表示l-1層的置信度值，函數Γ(·)＝log(1+exp(·))將二維曲面的上域轉換為非負值，同時保持曲面的趨勢，是常數；

3)基于Γ函數，將多尺度置信度網絡的反向傳播，其公式如下：

其中，E表示來自網絡的深度預測與真實值之間的損失。

4.根據權利要求1所述的基于多尺度置信度和自注意機制的腸道環境深度補全方法，其特征在于所述步驟S2的具體過程如下：

構建基于U-Net的深度補全網絡，將來自本方法提出的多尺度置信度預測網絡輸出的深度特征和置信掩碼與相應的RGB圖像進行融合，輸入到深度補全網絡中，在圖像引導下的深度補全神經網絡，估算出稀疏深度圖的致密深度，預測密集的深度圖，在RGB圖像特征的指導下，深度補全網絡使稀疏深度的影響更加準確和高效。

5.根據權利要求4所述的基于多尺度置信度和自注意機制的腸道環境深度補全方法，其特征在于所述步驟S3的具體過程如下：

在深度補全網絡的編碼器和解碼器之間引入基于自注意機制的結構感知模塊，模擬不同區域響應之間的相互依賴關系，融合深層的紋理和幾何特征，其包括以下步驟：

1)將基于U-Net的編碼器得到的特征映射F∈R^C×H×W重塑為R^C×N，其中C表示通道數，H表示圖像的高度，W表示圖像寬度，N＝H×W表示特征映射的大小；

2)對F及其轉置進行矩陣乘法，計算特征相似度S∈R^C×C；不同通道圖之間的相似性反映了區域響應的空間關系；

3)通過逐像素減法，將相似度S轉化為特征判別D∈R^C×C，融合更多來自不同區域的響應；通過softmax層，得到注意映射A∈R^C×C，其能夠模擬兩個通道映射之間的關系；

4)對A和F的轉置進行矩陣乘法運算，結果被重塑為R^C×H×W；

5)對F和步驟4)的結果R進行元素級求和運算，得到輸出E；每個通道的最終特征是所有通道的特征與原始特征的加權和。