[發明專利]用于機器人外科手術平臺的基于機器學習的視覺-觸覺反饋系統

在審

• 申請號: 201880097480.4
• 申請日: 2018-09-18
• 公開（公告）號: CN113164208A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: J·文卡塔拉曼;D·A·米勒
• 申請（專利權）人: 威博外科公司
• 主分類號: A61B34/00
• 分類號: A61B34/00;A61B34/10;A61B90/00;A61B34/35;G16H20/40;G06N20/00;A61B17/00;A61B18/00
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 劉書航;呂傳奇

本發明題為“用于機器人外科手術平臺的基于機器學習的視覺?觸覺反饋系統”。本文所述的實施方案提供了用于基于捕獲的內窺鏡圖像生成觸覺反饋信號的視覺?觸覺反饋系統的各種示例。在一個方面，用于生成該觸覺反饋信號的方法包括以下步驟：接收針對在機器人外科手術系統上執行的外科手術規程捕獲的內窺鏡視頻；檢測該內窺鏡視頻中涉及給定類型的外科手術工具?組織交互的外科手術任務；選擇被配置用于分析該給定類型的外科手術工具?組織交互的機器學習模型；對于與描繪該給定類型的外科手術工具?組織交互的該檢測到的外科手術任務相關聯的視頻圖像，將該選擇的機器學習模型應用于該視頻圖像以預測該描繪的外科手術工具?組織交互的強度水平；以及然后向執行該外科手術任務的外科醫生提供該預測強度水平，作為該給定類型的外科手術工具?組織交互的觸覺反饋信號。

技術領域

本公開整體涉及構建外科手術視頻分析工具，并且更具體地涉及用于基于描繪外科手術工具-組織交互類型的捕獲的內窺鏡圖像生成觸覺反饋信號并且向執行涉及外科手術工具-組織交互類型的外科手術任務的外科醫生提供觸覺反饋信號的系統、設備和技術。

背景技術

在包括常規腹腔鏡規程在內的常規外科手術規程中，握持一個或兩個外科手術工具并且隨后將一個或兩個外科手術工具施加到組織上的外科醫生，例如，通過推動或牽拉組織，實際上可感覺到由于通過外科手術工具傳輸回外科醫生的物理觸覺反饋而對組織施加的壓力或張力。基于該物理觸覺反饋，外科醫生可快速調節施加的力，直到接收到期望的物理觸覺反饋。

相比之下，在機器人外科手術平臺中，與遠程控制器一起工作的外科醫生與機器人臂和與外科受檢者交互的端部執行器/外科手術工具物理地和機械地分離，并且因此不接收物理觸覺反饋。為了計量施加的力，通常使用“視覺觸覺”技術。更具體地，外科醫生在視頻監視器上的視頻饋送中觀看組織在施加的力下的視覺外觀，并且使用他們的經驗和專業知識在他們在視頻饋送看到的內容與他們認為應對組織施加的力之間做出精神映射，并且在必要時對施加的力做出調整。

然而，在基于從一個外科醫生到另一個外科醫生以及在不同技能/經驗水平的外科醫生之間的視覺外觀來判斷對組織施加的力，可存在大量的不一致性。可以預期的是，經驗更豐富的外科醫生可基于視覺觸覺做出比經驗不太豐富的外科醫生更準確的映射。遺憾的是，沒有好的方法提供外科醫生在視頻中看到的內容與真實施加的力之間的一致相關性。

發明內容

在一個方面，公開了一種用于基于捕獲的內窺鏡視頻生成觸覺反饋的方法，該捕獲的內窺鏡視頻描繪了在機器人外科手術規程期間一個或多個外科手術工具與組織之間的交互。該方法可通過接收針對在機器人外科手術系統上執行的外科手術規程捕獲的內窺鏡視頻而開始。該方法然后檢測內窺鏡視頻中的外科手術任務，該外科手術任務涉及通過使用一個或多個外科手術工具對組織施加力而引起的給定類型的外科手術工具-組織交互。接下來，該方法基于檢測到的外科手術任務從一組機器學習模型中選擇機器學習模型，其中該組機器學習模型中的每個機器學習模型被訓練成分析給定類型的外科手術工具-組織交互。對于與描繪給定類型的外科手術工具-組織交互的檢測到的外科手術任務相關聯的視頻圖像，該方法然后將選擇的機器學習模型應用于視頻圖像，以預測描繪的外科手術工具-組織交互的強度水平。最后，該方法向執行外科手術任務的外科醫生提供預測的強度水平，作為給定類型的外科手術工具-組織交互的觸覺反饋信號。

在一些實施方案中，該方法通過檢測進入視野中的一個或多個外科手術工具來檢測內窺鏡視頻中涉及給定類型的外科手術工具-組織交互的外科手術任務。

在一些實施方案中，選擇的機器學習模型被訓練成將描繪給定類型的外科手術工具-組織交互的視頻圖像或視頻圖像序列分類成針對給定類型的外科手術工具-組織交互定義的一組預定強度水平中的一個。

在一些實施方案中，該方法將選擇的機器學習模型應用于視頻圖像，以基于分析描繪的外科手術工具-組織交互的視覺外觀，通過針對給定類型的外科手術工具-組織交互將視頻圖像分類成一組預定強度水平中的一個來預測描繪的外科手術工具-組織交互的強度水平。