[發明專利]應用于機器人輔助手術視頻分析的實時手術工具檢測方法

在審

• 申請號: 202010529745.2
• 申請日: 2020-06-11
• 公開（公告）號: CN111652175A
• 公開（公告）日: 2020-09-11
• 發明（設計）人: 趙子健;劉玉瑩
• 申請（專利權）人: 山東大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 李圣梅

本公開提出了應用于機器人輔助手術視頻分析的實時手術工具檢測方法，包括：采集機器人輔助手術視頻并處理得到手術圖像；對手術圖像進行手術工具關鍵點估計得到手術工具中心點的熱度圖，再根據熱度圖峰值預測手術工具的中心點及手術工具的尺寸；由預測的手術工具的中心點及其尺寸計算得到手術工具的邊界框。采用輕量級卷積神經網絡，利用火模塊代替傳統沙漏網絡中的殘差模塊，大大減少了卷積神經網絡訓練所需要的參數，在保證較高檢測準確率的同時，提高了檢測速度，滿足實時性的檢測要求。

技術領域

本公開屬于機器人輔助手術視頻分析的技術領域，尤其涉及應用于機器人輔助手術視頻分析的實時手術工具檢測方法。

背景技術

本部分的陳述僅僅是提供了與本公開相關的背景技術信息，不必然構成在先技術。

機器人輔助手術，主要有機器人輔助手術操作和機器人輔助手術導航兩大類。計算機輔助手術操作是外科醫生借助機器人手臂進行手術操作，以減少因為人的主觀意識、疲勞等其他因素造成的手術事故，外科醫生可遠離手術臺操縱機器人進行精準手術，完全不同于傳統的手術概念，可以降低醫護人員被傳染的概率。計算機輔助手術導航是將病人手術前或手術中的視頻數據與手術床上病人的解剖結構進行準確對應，手術中跟蹤手術工具并將手術工具的位置在病人影像上以虛擬探針的方式進行實時地更新顯示，使醫生對手術工具相對病人解剖結構的位置一目了然，使外科手術更快速、更精確、更安全。

視頻分析技術，是使用計算機圖像視覺分析技術，通過把場景中的背景和物體區分開，進一步分析和追蹤在攝像機場景中的物體。視頻分析是依照人眼的生物特性來創建一個基本的運行思路，即采集、預處理、處理、動作。首先采集有經驗醫生手術過程中的視頻數據；然后對畫面清晰、過程完整的手術視頻進行分幀；再在分幀得到的手術圖像中識別出手術工具的出現時間、位置等信息；最后根據得到的手術工具的信息以實現培訓新手，手術預警以及手術室資源調配等。

實時手術工具檢測，是計算機視覺中的經典問題之一，其任務是用方框標示出圖像中手術工具的具體位置，并給出手術工具的類別。因為要將手術工具檢測技術用在手術視頻圖像中，所以需要在手術工具的檢測過程中做到又快又準，即實時性和準確性是手術工具檢測的需求。

與一般的目標檢測任務不同，用于手術工具檢測的實際圖像往往存在著血霧、模糊、移動速度過快等不利于手術工具檢測的因素，這就會導致手術工具檢測精度下降，從而影響手術導航過程對人體造成危害；另一方面來說，要通過手術工具檢測來幫助實施手術導航，實時性是非常必要的，若達不到手術工具檢測的實時性，就會延誤醫生在手術過程中的視野，對人體造成不必要的損害。但是目前的手術工具檢測所采用的方法非常耗時，需要生成非常多的錨盒作為先驗框甚至還需要將先驗框映射回圖像特征圖，這增加了計算量，非常耗時，達不到實時性的效果。

發明內容

為克服上述現有技術的不足，本公開提供了應用于機器人輔助手術視頻分析的實時手術工具檢測方法,提高了手術工具檢測的速度及準確度。

一方面，為實現上述目的，本公開的一個或多個實施例提供了如下技術方案：

應用于機器人輔助手術視頻分析的實時手術工具檢測方法，包括：

采集機器人輔助手術視頻并處理得到手術圖像；

對手術圖像進行手術工具關鍵點估計得到手術工具中心點的熱度圖，再根據熱度圖峰值預測手術工具的中心點及手術工具的尺寸；

由預測的手術工具的中心點及其尺寸得到手術工具的邊界框。

進一步的技術方案，采用訓練輕量級神經網絡框架后得到的手術工具關鍵點估計器對手術圖像進行手術工具關鍵點進行估計。

另一方面，公開了應用于機器人輔助手術視頻分析的實時手術工具檢測系統,包括：

手術圖像獲取模塊，被配置為采集機器人輔助手術視頻并處理得到手術圖像；