[發明專利]一種顯微手術成像過程中術區三維重建方法及系統

在審

• 申請號: 202011073299.5
• 申請日: 2020-10-09
• 公開（公告）號: CN112288689A
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 黃海亮;邵航;唐潔;劉威;廖家勝
• 申請（專利權）人: 浙江未來技術研究院（嘉興）
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/593;G06T7/10;G06T7/80;G06K9/62;G06N3/04;G06N3/08;A61B34/10
• 代理公司: 北京知呱呱知識產權代理有限公司 11577
• 代理人: 朱芳

1.一種顯微手術成像過程中術區三維重建方法，其特征在于，包括以下步驟：

步驟1、基于結構光三維重建算法，構建手術器械的三維點云數據集D；

步驟2、構建卷積神經網絡，所述卷積神經網絡的輸入為顯微手術成像設備的視點圖像I，卷積神經網絡的輸出為術區手術器械像素級分割圖像M_I；

步驟3、根據所述術區手術器械像素級分割圖像M_I，獲取術區內手術器械的掩模圖M_s(s＝1…n)；

步驟4、校正所述視點圖像I中的高光區域，獲得弱高光或無高光手術場景顯微圖像I_r；

步驟5、根據步驟4分別獲得顯微手術成像設備左右視點的弱高光或無高光手術場景顯微圖像I_rL和I_rR；

步驟6、基于雙目立體視覺，通過弱高光或無高光手術場景顯微圖像I_rL和I_rR獲取手術場景的深度信息，根據所述深度信息進行三維點云重建獲得顯微手術成像設備下術區三維點云重建結果R_r；

步驟7、根據步驟3中的術區內手術器械的掩模圖M_s(s＝1…n)和步驟1中手術器械的三維點云數據集D，恢復出當前術區中所有手術器械形態的點云圖像R_s(s＝1…n)；

步驟8、根據步驟3中的術區內手術器械的掩模圖M_s(s＝1…n)和步驟7中恢復出的當前術區中所有手術器械形態的點云圖像R_s(s＝1…n)，約束步驟6中的術區三維點云重建結果R_r。

2.根據權利要求1所述的一種顯微手術成像過程中術區三維重建方法，其特征在于，所述步驟1包括以下步驟：

步驟1.1、使用張正友標定法對投影儀以及雙目相機進行標定；

步驟1.2、使用投影儀投射格雷碼編碼的方式對所要重建的手術器械進行空間編碼操作；

步驟1.3、通過對格雷碼的解碼獲取雙目相機中像素點的立體匹配；

步驟1.4、使用三角測量方案進行三維點云的重建；

步驟1.5、對手術器械的三維點云進行處理，將手術器械所有可移動的部位點云單獨分割出來進行剛性部件的點云重建。

3.根據權利要求1所述的一種顯微手術成像過程中術區三維重建方法，其特征在于，所述步驟2包括以下步驟：

步驟2.1、確定卷積神經網絡的輸入為顯微手術成像設備的視點圖像I；

步驟2.2、使用VGG16的卷積網絡層對輸入層的視點圖像I進行特征提??；

步驟2.3、使用上采樣層以及softmax層，根據圖像特征對視點圖像I將手術器械按照給定標簽進行分類標注，以達到顯微手術成像設備中像素級別的分割并獲得術區手術器械像素級分割圖像M_I。

4.根據權利要求3所述的一種顯微手術成像過程中術區三維重建方法，其特征在于，所述步驟3包括以下步驟：

步驟3.1、構建常用手術器械的數據集，使用標注軟件進行像素級的標注工作；

步驟3.2、根據步驟2.3中對于手術器械的標注標簽，構建術區內各個手術器械的掩膜圖像M_s(s＝1…n)。

5.根據權利要求1所述的一種顯微手術成像過程中術區三維重建方法，其特征在于，所述步驟4包括以下步驟：

步驟4.1、將顯微手術成像設備錄制的已有手術視頻進行分幀操作；

步驟4.2、對步驟4.1中分幀后的圖片，將含有高光的圖片和不含有高光的圖像進行人工手動分類；

步驟4.3、構建CycleGAN-and-pix2pix網絡，將步驟4.2中的數據集分成數據集合測試集，進行訓練，并保存網絡參數；

步驟4.4、構建視點圖像I中高光區域的掩模圖I_M；

步驟4.5、結合步驟4.4中構建的掩模圖I_M，將高光區域放進步驟4.3中訓練的網絡中進行高光區域的修復，得到弱高光或無高光的圖像I_r。