[發明專利]單目內窺鏡無監督深度和運動估計的方法及裝置

在審

• 申請號: 202210014288.2
• 申請日: 2022-01-04
• 公開（公告）號: CN114399527A
• 公開（公告）日: 2022-04-26
• 發明（設計）人: 王涌天;劉詩源;艾丹妮;宋登攀;楊健
• 申請（專利權）人: 北京理工大學
• 主分類號: G06T7/207
• 分類號: G06T7/207;G06T7/50
• 代理公司: 北京市中聞律師事務所 11388
• 代理人: 馮夢洪

單目內窺鏡無監督深度和運動估計的方法及裝置，方法包括：(1)獲取密集描述符圖：對輸入源?目標圖像對進行特征匹配，獲得稀疏匹配點對；通過特征學習網絡獲取輸入圖像對應的密集描述符圖；利用稀疏匹配點對和描述符圖建立相對響應損失；(2)進行深度、位姿估計：對特征提取獲得的密集描述符圖執行密集特征匹配，獲得N對密集匹配點對深度估計網絡和位姿估計網絡分別獲得輸入圖像的深度圖和相對位姿；為了給深度和位姿估計網絡提供監督信號，描述符圖和密集匹配點對分別被用于構建特征一致性損失和對極幾何一致性損失。

技術領域

本發明涉及醫學圖像處理的技術領域，尤其涉及一種單目內窺鏡無監督深度和運動估計的方法，以及單目內窺鏡無監督深度和運動估計的裝置。

背景技術

在微創手術(MIS)中，例如泌尿外科、腹部外科、胸外科等，外科醫生通常需要使用醫學內窺鏡對體內解剖結構進行觀察。然而，MIS中創口通常十分狹小，僅通過內窺鏡提供的狹窄范圍的視覺觀察，外科醫生依然難以進行精準的手術操作。幸運的是，基于內窺鏡的手術導航系統能夠為外科醫生提供實時解剖結構和位置信息。但是，在這樣的系統中，由于內窺鏡成像通常會丟失三維結構信息，為了給醫生提供更有效的手術指導，通常需要從術中內窺鏡圖像中恢復密集的3D信息以及內窺鏡的相對位置。因此，有必要對內窺鏡圖像進行準確的圖像深度和相機姿勢估計，以便可以恢復丟失的3D信息和獲得內窺鏡的位置信息。

為了在用內窺鏡進行觀察的同時獲得準確的深度和位姿信息，通常可以采用以下幾種方法：利用雙目視覺原理進行立體重構；利用結構光直接進行深度測量。與上述兩種方法相比，直接通過單目內窺鏡進行深度估計的方式具有硬件體積小、結構簡單、成本低、便于集成到臨床手術操作流程中等優點。然而，由于內窺鏡圖像通常具有鏡面反射、光度不恒定、紋理較弱、圖像擾動(煙、血等)、組織形變等特點。常用的基于內窺鏡圖像特征的深度測量方法，例如運動結構重建(SFM)、同時定位和映射(SLAM)通常難以獲得穩定可靠的圖像特征，從而在通過特征匹配和三角測量計算圖像深度和相機位姿時失效。

近年來，深度學習已廣泛應用于醫學圖像處理的各個方向。基于深度學習的內窺鏡圖像深度估計，通過端到端的網絡模型能夠進行密集的深度估計。然而，由于內窺鏡圖像所固有的光度不恒定、紋理較為相似等特點，在計算機視覺領域表現良好的基于視圖合成的無監督單目深度估計方法，通常難以獲得良好的深度估計。同時，Bian等人在室內視頻無監督深度估計中指出，與計算機視覺領域汽車的運動相比，室內視頻通常存在較多的相機旋轉和較少的相機平移。在內窺鏡視頻中，相機的運動同樣具有與室內視頻相同的特點。Bian等人證明相機運動對于當前基于視圖合成的無監督深度估計框架而言，相機旋轉更像是噪聲，而相機平移將有助于深度估計。兩幀圖像之間，相機平移量大小將影響深度估計的準確性，較大的平移量通常有助于獲得更準確的深度估計。但是，較大的平移量意味著兩幀圖像光度差異也較大，這將違背視圖合成方法關于光度恒定的假設。

發明內容

為克服現有技術的缺陷，本發明要解決的技術問題是提供了一種單目內窺鏡無監督深度和運動估計的方法，其一方面解決了內窺鏡圖像光度不恒定、紋理相似造成深度估計失效的問題，另一方面允許采用更大的相機平移量所對應的兩幀圖像進行深度和位姿估計，提高預測精度。

本發明的技術方案是：這種單目內窺鏡無監督深度和運動估計的方法，該方法包括以下步驟：

(1)獲取密集描述符圖：對輸入源-目標圖像對進行特征匹配，獲得稀疏匹配點對；通過特征學習網絡獲取輸入圖像對應的密集描述符圖；利用稀疏匹配點對和密集描述符圖建立相對響應損失；

(2)進行深度、位姿估計：對特征提取獲得的密集描述符圖執行

密集特征匹配，獲得N對密集匹配點對深度估計網絡和位姿估計網絡分別獲得輸入圖像的深度圖和相對位姿；為了給深度和位姿估計網絡提供監督信號，描述符圖和密集匹配點對分別被用于構建特征一致性損失和對極幾何一致性損失。