[發(fā)明專利]基于光流獲得組織腔體三維圖像的處理方法

有效

• 申請?zhí)枺?/td>: 202011120581.4
• 申請日: 2020-10-19
• 公開（公告）號: CN112348940B
• 公開（公告）日: 2022-11-01
• 發(fā)明（設(shè)計）人: 黃培海
• 申請（專利權(quán)）人: 深圳硅基智控科技有限公司
• 主分類號: G06T15/06
• 分類號: G06T15/06;G06T15/04;G06T7/33;G06T5/00;G06N3/08;G06N3/04
• 代理公司: 深圳舍穆專利代理事務(wù)所(特殊普通合伙) 44398
• 代理人: 邱爽

1.一種基于光流獲得組織腔體三維圖像的處理方法，其特征在于，包括以下步驟：利用膠囊內(nèi)窺鏡在具有褶皺內(nèi)壁的組織腔體內(nèi)沿著第一方向針對所述組織腔體內(nèi)的重建區(qū)域采集第一圖像，并使所述膠囊內(nèi)窺鏡在組織腔體內(nèi)沿著第二方向針對所述重建區(qū)域采集第二圖像，所述第一方向與所述第二方向形成有夾角；通過基于卷積運算的神經(jīng)網(wǎng)絡(luò)計算所述重建區(qū)域在所述第一圖像內(nèi)的第一像素區(qū)域與所述重建區(qū)域在第二圖像內(nèi)與所述第一像素區(qū)域?qū)?yīng)的第二像素區(qū)域的光流；在所述第一像素區(qū)域中提取包括多個特征點的第一特征點集，并基于所述第一特征點集和所述光流獲得在所述第二像素區(qū)域中與所述第一特征點集對應(yīng)的第二特征點集；基于所述第一特征點集和所述第二特征點集計算所述膠囊內(nèi)窺鏡的本質(zhì)矩陣；并且基于所述本質(zhì)矩陣計算所述第一像素區(qū)域和所述第二像素區(qū)域的各個像素點的空間坐標，獲得點云并利用所述點云進行三維圖像重建。

2.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于，

所述第一圖像和所述第二圖像由所述膠囊內(nèi)窺鏡連續(xù)采集獲得，所述膠囊內(nèi)窺鏡為單目膠囊內(nèi)窺鏡，所述光流由所述膠囊內(nèi)窺鏡的運動而產(chǎn)生。

3.根據(jù)權(quán)利要求2所述的圖像處理方法，其特征在于，

所述第一圖像和所述第二圖像為相鄰幀的兩幅圖像，所述第一圖像為當前幀的圖像，所述第二圖像為下一幀的圖像。

4.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于，

所述多個特征點包括至少8個特征點。

5.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于，

所述基于卷積運算的神經(jīng)網(wǎng)絡(luò)的訓練步驟包括：準備多組的組織腔體內(nèi)壁圖像對，所述組織腔體內(nèi)壁圖像對為對具有褶皺內(nèi)壁的組織腔體內(nèi)的同一區(qū)域以不同的方向進行采集獲得的兩幅圖像，且分別為第一訓練圖像和第二訓練圖像；將每組組織腔體內(nèi)壁圖像對的第一訓練圖像和第二訓練圖像依次輸入所述神經(jīng)網(wǎng)絡(luò)以獲取所述第一訓練圖像內(nèi)的第一像素點的前向光流；交換第一訓練圖像和第二訓練圖像的輸入順序以獲取所述第二訓練圖像內(nèi)與所述第一像素點對應(yīng)的第二像素點的后向光流；基于所述前向光流和所述后向光流計算損失函數(shù)；并且基于所述損失函數(shù)對所述神經(jīng)網(wǎng)絡(luò)進行評估并優(yōu)化。

6.根據(jù)權(quán)利要求5所述的圖像處理方法，其特征在于，

所述損失函數(shù)包括結(jié)構(gòu)相似性損失項、幾何前后一致性損失項以及光流平滑度損失項。

7.根據(jù)權(quán)利要求6所述的圖像處理方法，其特征在于，

所述結(jié)構(gòu)相似性損失項包括第一預測圖像與所述第一訓練圖像的第一結(jié)構(gòu)相似性損失項和第二預測圖像與所述第二訓練圖像的第二結(jié)構(gòu)相似性損失項，所述第一預測圖像通過所述前向光流作用于所述第二訓練圖像生成，所述第二預測圖像通過所述后向光流作用于所述第一訓練圖像生成。

8.根據(jù)權(quán)利要求6所述的圖像處理方法，其特征在于，

所述光流平滑度損失項包括所述前向光流的全變分損失與所述后向光流的全變分損失。

9.根據(jù)權(quán)利要求6所述的圖像處理方法，其特征在于，

所述幾何前后一致性損失項為所述第一訓練圖像內(nèi)的第一像素點的前向光流與所述第二訓練圖像內(nèi)與第一像素點對應(yīng)的第二像素點的后向光流的差值。