[發(fā)明專利]用于機(jī)器人外科手術(shù)平臺的基于機(jī)器學(xué)習(xí)的視覺-觸覺反饋系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201880097480.4
• 申請日: 2018-09-18
• 公開（公告）號: CN113164208A
• 公開（公告）日: 2021-07-23
• 發(fā)明（設(shè)計(jì)）人: J·文卡塔拉曼;D·A·米勒
• 申請（專利權(quán)）人: 威博外科公司
• 主分類號: A61B34/00
• 分類號: A61B34/00;A61B34/10;A61B90/00;A61B34/35;G16H20/40;G06N20/00;A61B17/00;A61B18/00
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 劉書航;呂傳奇

1.一種用于基于捕獲的內(nèi)窺鏡視頻生成觸覺反饋的計(jì)算機(jī)實(shí)現(xiàn)的方法，所述內(nèi)窺鏡視頻描繪了在機(jī)器人外科手術(shù)規(guī)程期間一個或多個外科手術(shù)工具與組織之間的交互，所述方法包括：

接收針對在機(jī)器人外科手術(shù)系統(tǒng)上執(zhí)行的外科手術(shù)規(guī)程捕獲的內(nèi)窺鏡視頻；

檢測所述內(nèi)窺鏡視頻中的外科手術(shù)任務(wù)，所述外科手術(shù)任務(wù)涉及通過使用一個或多個外科手術(shù)工具對組織施加力而引起的給定類型的外科手術(shù)工具-組織交互；

基于所述檢測到的外科手術(shù)任務(wù)從一組機(jī)器學(xué)習(xí)模型中選擇機(jī)器學(xué)習(xí)模型，其中所述一組機(jī)器學(xué)習(xí)模型中的每個機(jī)器學(xué)習(xí)模型被訓(xùn)練成分析給定類型的外科手術(shù)工具-組織交互；

對于與描繪所述給定類型的外科手術(shù)工具-組織交互的所述檢測到的外科手術(shù)任務(wù)相關(guān)聯(lián)的視頻圖像或視頻圖像序列，將所述選擇的機(jī)器學(xué)習(xí)模型應(yīng)用于所述視頻圖像或所述視頻圖像序列，以預(yù)測所述描繪的外科手術(shù)工具-組織交互的強(qiáng)度水平；以及

向執(zhí)行所述外科手術(shù)任務(wù)的外科醫(yī)生提供所述預(yù)測強(qiáng)度水平作為用于所述給定類型的外科手術(shù)工具-組織交互的觸覺反饋信號。

2.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中檢測所述內(nèi)窺鏡視頻中涉及所述給定類型的外科手術(shù)工具-組織交互的所述外科手術(shù)任務(wù)包括檢測進(jìn)入視野中的一個或多個外科手術(shù)工具。

3.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述選擇的機(jī)器學(xué)習(xí)模型被訓(xùn)練成將描繪所述給定類型的外科手術(shù)工具-組織交互的視頻圖像或視頻圖像序列分類成針對所述給定類型的外科手術(shù)工具-組織交互定義的一組預(yù)定強(qiáng)度水平中的一個。

4.根據(jù)權(quán)利要求3所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中將所述選擇的機(jī)器學(xué)習(xí)模型應(yīng)用于所述視頻圖像或所述視頻圖像序列以預(yù)測所述描繪的外科手術(shù)工具-組織交互的所述強(qiáng)度水平包括基于分析所述描繪的外科手術(shù)工具-組織交互的視覺外觀，將所述視頻圖像或所述視頻圖像序列分類成針對所述給定類型的外科手術(shù)工具-組織交互的所述一組預(yù)定強(qiáng)度水平中的一個。

5. 根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中向執(zhí)行所述外科手術(shù)任務(wù)的所述外科醫(yī)生提供所述預(yù)測強(qiáng)度水平包括：

由所述選擇的機(jī)器學(xué)習(xí)模型將所述預(yù)測強(qiáng)度水平轉(zhuǎn)換成物理反饋信號；以及

經(jīng)由所述機(jī)器人外科手術(shù)系統(tǒng)的用戶界面設(shè)備（UID）將所述轉(zhuǎn)換的物理反饋信號傳送至執(zhí)行所述外科手術(shù)任務(wù)的所述外科醫(yī)生。

6.根據(jù)權(quán)利要求5所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述物理反饋信號是機(jī)械振動，并且其中經(jīng)由所述機(jī)器人外科手術(shù)系統(tǒng)的所述UID將所述轉(zhuǎn)換的物理反饋信號傳送至所述外科醫(yī)生包括將所述機(jī)械振動傳輸?shù)接伤鐾饪漆t(yī)生握持的所述UID的遠(yuǎn)程控制器，使得所述外科醫(yī)生可直接感覺到所述物理反饋信號。

7.根據(jù)權(quán)利要求6所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述方法還包括使用所述機(jī)械振動的不同頻率或不同強(qiáng)度表示所述給定類型的外科手術(shù)工具-組織交互的不同預(yù)測強(qiáng)度水平。

8.根據(jù)權(quán)利要求5所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述物理反饋信號是聽覺信號，并且其中經(jīng)由所述機(jī)器人外科手術(shù)系統(tǒng)的所述UID將所述轉(zhuǎn)換的物理反饋信號傳送至所述外科醫(yī)生包括使用所述UID的揚(yáng)聲器傳輸所述聽覺信號，使得所述外科醫(yī)生能夠直接聽到所述物理反饋信號。

9.根據(jù)權(quán)利要求8所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述方法還包括使用所述聽覺信號的不同音量或不同音高表示所述給定類型的外科手術(shù)工具-組織交互的不同預(yù)測強(qiáng)度水平。

10.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中通過使用所述一個或多個外科手術(shù)工具對所述組織施加壓縮力來引起所述給定類型的外科手術(shù)工具-組織交互。

11.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中通過使用所述一個或多個外科手術(shù)工具對所述組織施加張力來引起所述給定類型的外科手術(shù)工具-組織交互。