[發明專利]基于增強現實的介入機器人無接觸遙操系統及標定方法

有效

• 申請號: 202110674129.0
• 申請日: 2021-06-17
• 公開（公告）號: CN113229941B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 高安柱;林澤才;楊廣中;陳衛東;艾孝杰
• 申請（專利權）人: 上海交通大學
• 主分類號: A61B34/35
• 分類號: A61B34/35;A61B34/10;A61B34/20;A61B90/00;A61B90/30
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 胡晶

本發明提供了一種基于增強現實的介入機器人無接觸遙操系統及標定方法，該系統主要由頭戴式AR設備、形狀傳感系統、電磁跟蹤系統、連續體機器人等組成，其標定主要包括五個步驟。本發明將增強現實技術應用于柔性手術機器人，克服了以往增強現實技術只針對剛性器械顯示的缺陷，為醫生提供沉浸式的手術體驗，進一步增加手術的安全性。在增強現實技術的輔助下對腔內解剖學結構及介入的機器人進行3D透視，采用無接觸的手勢識別方式對機器人進行控制，將不同的手勢映射為機器人不同的運動；解決了因形狀傳感器基坐標系是浮動基座難以獲得絕對形狀信息的問題；巧妙的將AR設備和電磁跟蹤系統的標定轉化為AX＝XB的求解問題，更加高效的求解了二者的變換關系。

技術領域

本發明涉及腔內介入的技術領域，具體地，涉及基于增強現實的介入機器人無接觸遙操系統及標定方法。

背景技術

當前遙操作機器人輔助的腔內介入手術要求外科醫生操作桿在2D?X射線引導下控制機器人，而這種接觸式手術增加了外科醫生的工作量并將他們暴露在潛在的傳染環境中，且2D的圖像缺少深度信息，不僅不夠直觀還增加了誤判斷的風險。

在申請號為201510802654.0的中國發明專利中公開了一種利用增強現實技術的手術機器人系統及其控制方法，其技術方案是針對剛性手術器械的增強現實，無法適用于柔性機器人的實時形變特性，且其手術的操作方式需要醫生與操作手柄直接接觸，增加了外科醫生交叉感染的風險。

針對上述中的相關技術，發明人認為上述中的手術機器人系統及其控制方法存在無法對柔性機器人進行虛擬與現實疊加的增強顯示且易導致醫生交叉感染的問題，因此，需要提出一種技術方案以改善上述技術問題。

發明內容

針對現有技術中的缺陷，本發明的目的是提供一種基于增強現實的介入機器人無接觸遙操系統及標定方法。

根據本發明提供的一種基于增強現實的介入機器人無接觸遙操系統，包括頭戴式AR設備、PC1、PC2、光柵解調儀、磁場發生器、插入管、冗余機械臂、驅動單元、連續體機器人、LED、內窺鏡相機、形狀傳感器和電磁傳感器，所述頭戴式AR設備與PC1相連接，所述PC2分別與光柵解調儀、磁場發生器、冗余機械臂和驅動單元相連接。

優選地，所述形狀傳感器、電磁傳感器、連續體機器人、插入管、冗余機械臂、驅動單元、內窺鏡相機及LED組成柔性機器人。

優選地，所述頭戴式AR設備將柔性機器人模型疊加到現實場景，所述柔性機器人模型疊加的對象為連續體機器人和內窺鏡插入管部分導管，所述連續體機器人和內窺鏡插入管部分導管總長度由形狀傳感器的長度所決定。

優選地，所述光柵解調儀和形狀傳感器構成形狀傳感系統；所述磁場發生器和電磁傳感器構成電磁跟蹤系統。

優選地，所述系統的工作流程如下：

步驟1：PC1利用術前CT掃描的二維平面圖重建腔內解剖結構三維模型，設置內窺鏡影像在AR設備內的最佳觀測位置；

步驟2：對系統進行標定；

步驟3：PC2利用形狀傳感系統測量的波長對柔性機器人的形狀進行重建，根據步驟2的標定信息，把重建后的形狀變換到AR設備坐標系，并把變換后的數據以及內窺鏡影像通過無線通信發送給PC1；

步驟4：AR設備與PC1進行實時通信，醫生佩戴AR設備；

步驟5：醫生通過手勢識別對柔性機器人的運動進行控制。

優選地，所述步驟2包括AR設備與電磁跟蹤系統的標定、AR設備與機械臂的標定、AR設備定與解剖結構的標定、形狀傳感器與電磁傳感器的標定和AR設備與世界參考系的標定；所述步驟4在AR設備內醫生可觀測到柔性機器人三維形狀和腔內解剖三維模型在現實場景的疊加信息，醫生實時觀看到內窺鏡的影像。