[發明專利]術野追蹤的扶持腹腔鏡微創機器人觸力交互方法和系統

在審

• 申請號: 202110686981.X
• 申請日: 2021-06-21
• 公開（公告）號: CN113633387A
• 公開（公告）日: 2021-11-12
• 發明（設計）人: 魯超;方進;李霄劍;李玲;澹臺佑彤;胡偉;周仁鵬;姬芳勤;丁帥
• 申請（專利權）人: 安徽理工大學;合肥工業大學
• 主分類號: A61B34/35
• 分類號: A61B34/35;A61B34/20
• 代理公司: 北京久誠知識產權代理事務所(特殊普通合伙) 11542
• 代理人: 余罡

本發明提供一種術野追蹤的扶持腹腔鏡微創機器人觸力交互方法、系統、存儲介質和電子設備，涉及腹腔鏡技術領域。本發明根據手部姿態變化信號，獲取持器械機器人的末端執行器的相應姿態；據腹腔鏡獲取的當前時刻的術野圖像，獲取手術器械尖端中心點在圖像坐標系中的二維位置；根據術野圖像，構建圓形禁止區域型虛擬夾具，當二維位置與術野圖像中心點位置之間的距離大于圓形禁止區域型虛擬夾具的半徑時，生成指向術野圖像中心點的阻力并施加在主操作手機器上。避免了腹腔鏡自主追蹤過程中，其運動是受到算法控制而完全自主的，導致醫生失去對腹腔鏡的控制；觸力反饋的機制提示醫生腹腔鏡當前運動方向，以加強醫生對腹腔鏡術野的控制，實現人機交互。

技術領域

本發明涉及腹腔鏡技術領域，具體涉及一種術野追蹤的扶持腹腔鏡微創機器人觸力交互方法、系統、存儲介質和電子設備。

背景技術

在機器人手術中，通過機器人夾持腹腔鏡，由醫生對機器人進行操作和控制，可為醫生提供一個穩定的手術視野并減少助手的疲勞。

目前，腹腔鏡控制方法有多種。例如，通過使用醫生的語音、眼神注視或頭部運動來控制內窺鏡的視野；研究人員開發了一種柔性腹腔鏡機器人系統，該系統由醫生的頭部運動控制，使醫生可以在直觀觀察腹腔鏡的同時，用手操作手術器械，提高手術效率。再如，基于注意力感知的腹腔鏡機器人系統，通過眼動儀捕捉醫生在手術視野上的注視運動，并分析這些數據來找出醫生的注意力。當機器人感知到醫生的注意力穩定地位于一個新的視野興趣點時，機器人會自動調整腹腔鏡的位置以聚焦于此。

此外，基于視覺伺服的手術器械尖端跟蹤方法也是研究熱點之一。研究人員提出了一種通過視覺伺服實現儀器自動追蹤的方法。在儀器追蹤過程中，在手術器械尖端貼上一個綠色的標記以追蹤器械位置，并采用最優控制方法使內窺鏡運動最小化，這有助于減少器械在手術腔內的擊傷以及手臂在身體外的碰撞。再如，一種通過視覺伺服實現儀器自動追蹤的方法，采用改進的YOLOv3算法對手術器械的尖端進行實時精確定位，然后設計一個視覺追蹤空間矢量和一個約束矢量來實現基于圖像的多手術器械的安全追蹤，并且無需估計器械的深度信息。

但是，在上述的自動追蹤方法中，由于腹腔鏡的運動完全是由算法控制的，醫生無法控制或感知追蹤方法的效果。也即，盡管通過移動手術器械來實現腹腔鏡的移動，可以改變當前的手術視野，但這種操控是間接的，腹腔鏡的運動得不到醫生的直接控制，導致醫生的操作感覺較差，從而帶來了手術風險。

發明內容

(一)解決的技術問題

針對現有技術的不足，本發明提供了一種術野追蹤的扶持腹腔鏡微創機器人觸力交互方法、系統、存儲介質和電子設備，解決了腹腔鏡對手術器械自主追蹤過程中，醫生無法直接感知腹腔鏡的運動的技術問題。

(二)技術方案

為實現以上目的，本發明通過以下技術方案予以實現：

一種術野追蹤的扶持腹腔鏡微創機器人觸力交互方法，包括：

S1、根據主操作手機器實時記錄的醫生手部運動，獲取醫生實時的手部姿態變化信號，所述主操作手機器用于控制持器械機器人的運動；

S2、根據所述手部姿態變化信號，獲取所述持器械機器人的末端執行器的相應姿態，所述末端執行器用于夾持手術器械；

S3、根據腹腔鏡獲取的當前時刻的術野圖像，獲取手術器械尖端中心點在圖像坐標系中的二維位置；

S4、根據所述術野圖像，構建圓形禁止區域型虛擬夾具，當所述二維位置與術野圖像中心點位置之間的距離大于所述圓形禁止區域型虛擬夾具的半徑時，生成指向所述術野圖像中心點的阻力并施加在所述主操作手機器上。

優選的，所述方法還包括：