[發明專利]基于自監督深度網絡的無損血管三維測量方法

有效

• 申請號: 201911305254.3
• 申請日: 2019-12-17
• 公開（公告）號: CN111192238B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 韓靜;柏連發;張毅;王其鑫;陳霄雨;于浩天;葛錦洲
• 申請（專利權）人: 南京理工大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/55
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 封睿

1.基于自監督深度網絡的無損血管三維測量方法，其特征在于，具體步驟如下：

步驟1，基于視差預測網絡SsBMNet，構建自監督深度網絡的無損血管三維測量模型；

步驟2，搭建雙目血管三維成像系統，采集真實血管圖像數據，預處理后訓練無損血管三維測量模型；

步驟3、采集待成像的血管圖像對，預處理后輸入訓練好的無損血管三維測量模型，得到左視差圖和右視差圖；

步驟4、根據雙目相機間的基線距離以及相機焦距，將待成像血管對應的左視差圖或右視差圖轉換為深度圖；

步驟2中，訓練無損血管三維測量模型的具體過程為：將血管圖像對輸入構建的無損血管三維測量模型，得到左、右視差后，與原左右圖像翹曲形成重建圖像，即左視差與右參考圖重建出右重建圖、右視差與左參考圖重建出左重建圖，利用反向傳播算法更新無損血管三維測量模型網絡參數，直至損失函數值變化量小于設定閾值，得到重建圖像和參考圖像差距滿足要求的模型參數，即完成訓練；

反向傳播算法采用Adam方法進行模型訓練，其損失函數定義如下：

其中，loss_L1表示重建圖與真實圖的最小絕對值誤差，loss_SSIM表示重建圖與真實圖的結構相似性誤差，loss_L1'表示重建圖與真實圖的一階梯度誤差，loss_Consistence表示預測視差圖間的左右一致性損失函數，loss_smooth使用SsSMNet中的平滑正則化函數，loss_perceptual表示感知損失函數，使用VGG-16作為感知損失函數的具體實現，構建時，先將重建圖像與參考圖像分別送入VGG-16，然后將第13層輸出的兩個特征進行均方根誤差比對，形成感知損失函數如下：

其中f，f'分別是參考圖像和重建圖像經過VGG16得到的特征，loss_perceptual為計算所得感知損失loss_perceptual。

2.根據權利要求1所述的基于自監督深度網絡的無損血管三維測量方法，其特征在于，步驟1中，構建的無損血管三維測量模型包括2D-CNN特征提取層、CostVolume代價卷、3D-CNN卷積和SoftArgmin回歸四個模塊，所述特征提取層用于對輸入數據進行二維卷積，得到左右深層特征圖；所述代價卷用于將左右特征圖有序堆疊形成四維代價卷；所述3D-CNN卷積和回歸用于對代價卷進行三維卷積，并回歸輸出預測視差，包括左視差圖和右視差圖，從而換算出深度。

3.根據權利要求1所述的基于自監督深度網絡的無損血管三維測量方法，其特征在于，步驟2中，搭建的雙目血管三維成像系統，包括850nm的LED光源、多光譜濾光雙目basler相機、投影儀和計算卡TX2，850nm波段的LED光源照射待成像區域，被照區域反射光通過帶有850nm窄帶濾光片的雙目basler相機，通過觸發信號同時采集左右數據，形成血管圖像對。

4.根據權利要求1所述的基于自監督深度網絡的無損血管三維測量方法，其特征在于，步驟2中，對圖像預處理的過程為：先對采集的血管圖像對進行基線校正，即利用張正友標定法對圖像對進行極線矯正，歸一化到0到1；然后對經過基線校正的圖像樣本進行濾波。

5.根據權利要求4所述的基于自監督深度網絡的無損血管三維測量方法，其特征在于，使用Gabor濾波器進行濾波。

6.根據權利要求1所述的基于自監督深度網絡的無損血管三維測量方法，其特征在于，步驟4中，選取左視差用于深度換算，雙目相機間的基線距離b、相機焦距f與深度D_depth的關系為：

D_depth＝bf/d (3)

其中深度D_depth即為所要測量的相機到達血管距離，即三維深度，d表示左視差。