[發明專利]用于跟蹤機器人操縱的手術器械的位置的系統和方法

在審

• 申請號: 201980058999.6
• 申請日: 2019-07-27
• 公開（公告）號: CN112672709A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: S·森;B·D·霍夫曼;G·A·理查蒙德
• 申請（專利權）人: 直觀外科手術操作公司
• 主分類號: A61B34/20
• 分類號: A61B34/20
• 代理公司: 北京紀凱知識產權代理有限公司 11245
• 代理人: 張秀芬

1.一種手術器械跟蹤系統，所述手術器械跟蹤系統包括：

至少一個物理計算裝置，所述至少一個物理計算裝置：

基于手術區域的內窺鏡圖像并使用經訓練的神經網絡，確定對所述內窺鏡圖像中所示的感興趣的對象的觀察；

基于位于所述手術區域的機器人操縱的手術器械的概率框架和運動，將對所述感興趣的對象的所述觀察與所述機器人操縱的手術器械關聯；以及

基于所述機器人操縱的手術器械的所述運動和與所述機器人操縱的手術器械關聯的所述觀察，確定所述機器人操縱的手術器械在所述手術區域的物理位置。

2.根據權利要求1所述的系統，其中：

所述內窺鏡圖像包括左內窺鏡圖像和與所述左內窺鏡圖像成立體的右內窺鏡圖像；

對所述感興趣的對象的所述觀察包括對所述感興趣的對象的左觀察和右觀察；以及

所述至少一個物理計算裝置：

通過使用所述經訓練的神經網絡，確定對所述感興趣的對象的所述觀察，以基于所述左內窺鏡圖像，確定對所述感興趣的對象的所述左觀察，并基于所述右內窺鏡圖像，確定對所述感興趣的對象的所述右觀察；

通過將所述左觀察與所述機器人操縱的手術器械關聯并將所述右觀察與所述機器人操縱的手術器械關聯，將對所述感興趣的對象的所述觀察與所述機器人操縱的手術器械關聯；以及

通過使用所述左觀察和所述右觀察確定所述感興趣的對象在3D空間中的三維(“3D”)位置并通過基于所述感興趣的對象在所述3D空間中的所述3D位置調整所述機器人操縱的手術器械在所述3D空間中的基于3D運動的位置，確定所述機器人操縱的手術器械在所述手術區域的所述物理位置。

3.根據權利要求1所述的系統，其中：

所述內窺鏡圖像包括左內窺鏡圖像和與所述左內窺鏡圖像成立體的右內窺鏡圖像；以及

所述至少一個物理計算裝置將所述左內窺鏡圖像和右內窺鏡圖像立體匹配，并且通過使用所述經訓練的神經網絡確定對所述感興趣的對象的所述觀察，以基于所立體匹配的左內窺鏡圖像和右內窺鏡圖像，確定對所述感興趣的對象的所述觀察。

4.根據權利要求1所述的系統，其中：

所述內窺鏡圖像包括組合內窺鏡圖像；以及

所述至少一個物理計算裝置：

通過組合第一內窺鏡圖像和與所述第一內窺鏡圖像成立體的第二內窺鏡圖像，生成所述組合內窺鏡圖像；

通過使用所述經訓練的神經網絡，確定對所述感興趣的對象的所述觀察，以基于所述組合內窺鏡圖像，確定所述感興趣的對象在3D空間中的基于三維(“3D”)圖像的位置；以及

通過基于所述感興趣的對象在所述3D空間中的所述基于3D圖像的位置調整所述機器人操縱的手術器械在所述3D空間中的基于3D運動的位置，確定所述機器人操縱的手術器械在所述手術區域的所述物理位置。

5.根據權利要求1所述的系統，其中：

所述內窺鏡圖像包括組合內窺鏡圖像；以及

所述至少一個物理計算裝置：

通過組合一序列的內窺鏡視頻幀中包括的多個內窺鏡圖像，生成所述組合內窺鏡圖像；

通過使用所述經訓練的神經網絡，確定對所述感興趣的對象的所述觀察，以基于所述組合內窺鏡圖像，確定所述感興趣的對象在3D空間中的基于三維(“3D”)圖像的位置；以及

通過基于所述感興趣的對象在所述3D空間中的所述基于3D圖像的位置調整所述機器人操縱的手術器械在所述3D空間中的基于3D運動的位置，確定所述機器人操縱的手術器械在所述手術區域的所述物理位置。

6.根據權利要求5所述的系統，其中所述至少一個物理計算裝置基于所述組合內窺鏡圖像，至少部分地基于從所述組合內窺鏡圖像識別的所述感興趣的對象的運動，確定所述感興趣的對象在所述3D空間中的所述基于3D圖像的位置。

7.根據權利要求1所述的系統，其中所述至少一個物理計算裝置通過基于由所述觀察指示的所述感興趣的對象的基于圖像的位置調整所述機器人操縱的手術器械的基于運動的位置，確定所述機器人操縱的手術器械在所述手術區域的所述物理位置。