[發明專利]基于注意力引導的實時微創手術工具檢測方法及系統

在審

• 申請號: 202011622027.6
• 申請日: 2020-12-30
• 公開（公告）號: CN112699879A
• 公開（公告）日: 2021-04-23
• 發明（設計）人: 趙子健;史攀
• 申請（專利權）人: 山東大學
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 張慶騫

本發明屬于微創手術視頻分析的技術領域，提供了一種基于注意力引導的實時微創手術工具檢測方法及系統。其中，基于注意力引導的實時微創手術工具檢測方法包括獲取微創手術視頻并進行逐幀處理后得到手術圖像；將手術圖像逐幀輸入至基于注意力引導的卷積神經網絡框架中，輸出精確的手術工具邊界框；其中，基于注意力引導的卷積神經網絡框架包括級聯的粗略檢測模塊和精細檢測模塊；粗略檢測模塊用于將手術圖像進行粗略的定位參數回歸得到精細錨點，確定精細錨點是手術工具還是背景；精細檢測模塊用于基于注意力機制及預測的精細錨點類別，得到精確的手術工具邊界框。

技術領域

本發明屬于微創手術視頻分析的技術領域，尤其涉及一種基于注意力引導的實時微創手術工具檢測方法及系統。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

微創手術的優點，除了不言而喻的低侵襲性外，還包括術后疼痛和失血少、創傷小、恢復時間短，這些對于住院患者和臨床醫生都十分有利。然而，微創手術的間接觀察和操作方法削弱了外科醫生的手眼協調能力，在手術過程中可能會影響外科醫生的視覺理解，醫生需要獲取額外的信息來監測手術工具在體內的移動，阻礙了這一技術在世界范圍內的推廣。微創手術視頻分析技術能夠通過足夠的圖像分析處理，在工具交互視頻中可靠地監控手術，不但可以自動識別正在進行的手術任務，從而生成手術報告和重建手術流程，而且可以用來提醒臨床醫生可能出現的并發癥，為手術醫生提供精確且實時的導航。

為了減少醫療事故，醫療技術人員試圖通過上下文感知的計算機輔助外科手術系統來增強外科醫生的能力，保證患者安全。而手術工具檢測作為該系統的重要組成部分，根據視覺數據將工具識別和定位問題同時考慮，可提供精確的二維或三維手術工具的位置估計，其潛在的應用領域包括手術工具的精確定位和姿態估計、手術的實時提醒、手術流程優化、客觀技能評估等。所以，實時、精確的手術工具檢測能夠為微創手術中的操作導航提供重要的信息。

與自然場景中目標檢測任務相比，微創手術工具的檢測非常具有挑戰性。首先，前者數據集的標簽樣本數量一般比較大，而后者數據集的標簽樣本數量相對較小；其次，手術環境的復雜性和背景中器官的運動都會導致目標更容易丟失；另外，手術工具外觀、手術背景以及手術工具姿態缺乏一致性，而且數據集會因為手術視頻中的光照變化、鏡面反射、工具的陰影、運動模糊、出血或者煙霧遮擋而導致信息丟失，這些都給算法和模型訓練帶來了困難。因此，發明人發現，目前的手術工具檢測所采用的方法很難達到實時的效果，而且檢測精度易受上述干擾因素的影響。

發明內容

為了解決上述背景技術中存在的至少一項技術問題，本發明提供一種基于注意力引導的實時微創手術工具檢測方法及系統，其通過對粗略檢測模塊和精細檢測模塊進行兩步級聯回歸和分類對手術工具進行檢測，不但可以保證較高的檢測準確率，而且提高了檢測速度，滿足實時性的檢測要求。

為了實現上述目的，本發明采用如下技術方案：

本發明的第一個方面提供一種基于注意力引導的實時微創手術工具檢測方法。

一種基于注意力引導的實時微創手術工具檢測方法，包括：

獲取微創手術視頻并進行逐幀處理后得到手術圖像；

將手術圖像逐幀輸入至基于注意力引導的卷積神經網絡框架中，輸出精確的手術工具邊界框；

其中，基于注意力引導的卷積神經網絡框架包括級聯的粗略檢測模塊和精細檢測模塊；粗略檢測模塊用于將手術圖像進行粗略的定位參數回歸得到精細錨點，確定精細錨點是手術工具還是背景；精細檢測模塊用于基于注意力機制及預測的精細錨點類別，得到精確的手術工具邊界框。

本發明的第二個方面提供一種基于注意力引導的實時微創手術工具檢測系統。

一種基于注意力引導的實時微創手術工具檢測系統，包括：