[發(fā)明專利]基于多尺度置信度和自注意機制的腸道環(huán)境深度補全方法

在審

• 申請?zhí)枺?/td>: 202310287841.4
• 申請日: 2023-03-23
• 公開（公告）號: CN116523986A
• 公開（公告）日: 2023-08-01
• 發(fā)明（設(shè)計）人: 章國道;尹學(xué)松;劉儒瑜;吳子朝;秦瑤;劉政喆;戴立婷
• 申請（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06T7/529;G06T5/50;G06N3/0464;G06N3/084
• 代理公司: 杭州浙科專利事務(wù)所(普通合伙) 33213
• 代理人: 湯明

基于多尺度置信度和自注意機制的腸道環(huán)境深度補全方法，屬于計算機視覺和人工智能技術(shù)領(lǐng)域。本方法中，構(gòu)建多尺度置信度神經(jīng)網(wǎng)絡(luò)，挖掘稀疏深度數(shù)據(jù)中潛在的幾何特征，通過將有效的深度像素值擴散到相鄰像素點來填補稀疏深度圖中的空洞，獲得像素分布均衡的完整稠密的深度特征圖，有利于和對應(yīng)和RGB圖像進(jìn)行跨模態(tài)融合；接著，將深度特征圖及置信度圖輸入到深度補全網(wǎng)絡(luò)，在對應(yīng)RGB圖像的指導(dǎo)下融合跨模態(tài)特征進(jìn)行深度補全；最后，融合的多模態(tài)特征通過設(shè)計的基于自注意機制的結(jié)構(gòu)感知模塊，進(jìn)一步增強圖像和深度數(shù)據(jù)中的幾何和紋理特征，提高深度補全的精度。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機視覺和人工智能技術(shù)領(lǐng)域，具體涉及基于多尺度置信度和自注意機制的腸道環(huán)境深度補全方法。

背景技術(shù)

一般情況下，醫(yī)生只能進(jìn)行有限的單向腸道內(nèi)窺鏡檢查，在檢查中，即使是攜帶深度傳感器的最先進(jìn)的外科機器人，也只能提供稀疏的不完整的深度信息。然而密集、準(zhǔn)確和即時的腸道深度估計對于醫(yī)生判斷腸道組織的三維位置和形狀至關(guān)重要，否則會嚴(yán)重影響醫(yī)生和手術(shù)機器人之間的人機交互，例如醫(yī)生后續(xù)對探針的移動和操作。

隨著大量數(shù)據(jù)集的出現(xiàn)和深度學(xué)習(xí)算法的不斷發(fā)展，基于深度學(xué)習(xí)的深度估計方法蓬勃發(fā)展，該方法主要通過設(shè)計的深度神經(jīng)網(wǎng)絡(luò)模型，將數(shù)據(jù)輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并使用訓(xùn)練好的模型預(yù)測稠密深度圖。

深度估計模型基本上可以分為兩類。第一類是深度回歸模型，這類方法直接在輸入的RGB圖像上進(jìn)行特征提取和深度回歸，以獲得密集的深度預(yù)測。深度回歸方法最近已應(yīng)用于體內(nèi)環(huán)境，然而，由于內(nèi)腔環(huán)境中存在強烈的光照變化和微弱的紋理特征，因此生成的深度圖在很大程度上是由數(shù)據(jù)驅(qū)動的，在精度和泛化性方面仍然。由于缺乏利用環(huán)境幾何特征，生成的深度圖存在尺模糊性。第二類深度估計方法是深度補全方法，這類方法通過結(jié)合亮度圖像和來自SFM(Structure?From?Motion)/SLAM(Simultaneous?Localization?AndMapping)算法或深度傳感器的稀疏深度信息來重建深度圖。然而，大多數(shù)方法只是簡單地進(jìn)行圖像和深度圖串聯(lián)，并沒有深入探索跨模態(tài)特征深度融合對深度估計的促進(jìn)作用。此外，目前大多數(shù)方法都是針對室內(nèi)和室外人類活動場景設(shè)計的；還沒有針對腸道甚至其他體腔環(huán)境設(shè)計的深度補全方法。

發(fā)明內(nèi)容

針對現(xiàn)有方法中尺度模糊、跨模態(tài)融合方式簡單粗暴、腸道環(huán)境和人類活動場景存在顯著差異的局限，本發(fā)明的目的在于提供一種基于深度學(xué)習(xí)的腸道環(huán)境稠密深度估計方法，利用內(nèi)窺鏡圖像和稀疏深度測量數(shù)據(jù)的進(jìn)行腸道環(huán)境深度補全。

本發(fā)明提供如下技術(shù)方案：

基于多尺度置信度和自注意機制的腸道環(huán)境深度補全方法，包括以下步驟：

S1、構(gòu)建多尺度置信度神經(jīng)網(wǎng)絡(luò)，挖掘稀疏深度數(shù)據(jù)中潛在的幾何特征，通過將有效的深度像素值擴散到相鄰像素點來填補稀疏深度圖中的空洞，獲得像素分布均衡的完整稠密的深度特征圖和置信度圖，有利于和對應(yīng)的RGB圖像進(jìn)行跨模態(tài)融合；

S2、構(gòu)建深度補全網(wǎng)絡(luò)，將深度特征圖及置信度圖輸入到深度補全網(wǎng)絡(luò)，在對應(yīng)RGB圖像的指導(dǎo)下融合跨模態(tài)特征進(jìn)行深度補全；

S3、在深度補全網(wǎng)絡(luò)中構(gòu)建基于自注意力機制的結(jié)構(gòu)感知模塊，融合的多模態(tài)特征采用結(jié)構(gòu)感知模塊，進(jìn)一步增強圖像和深度數(shù)據(jù)中的幾何和紋理特征，提高深度補全的精度。

進(jìn)一步的，所述步驟S1中構(gòu)建的多尺度置信度神經(jīng)網(wǎng)絡(luò)采用編碼-解碼結(jié)構(gòu)，將傳統(tǒng)的編碼解碼框架中的標(biāo)準(zhǔn)卷積層替換為歸一化卷積層；基于置信度信號理論，歸一化卷積可以利用有效像素表示其鄰域像素，從而實現(xiàn)像素擴散和致密化。

進(jìn)一步的，所述歸一化卷積層的作用流程如下：

1)歸一化卷積層同時接受兩個輸入，即稀疏深度圖及其對應(yīng)的置信度圖，其生成估計的深度值的過程如公式(1)所示：