[發(fā)明專利]遠程手術視覺反饋系統及方法

在審

• 申請?zhí)枺?/td>: 202210240433.9
• 申請日: 2022-03-10
• 公開（公告）號: CN114668507A
• 公開（公告）日: 2022-06-28
• 發(fā)明（設計）人: 高安柱;林澤才;楊廣中;陳衛(wèi)東;高紅巖
• 申請（專利權）人: 上海交通大學
• 主分類號: A61B34/35
• 分類號: A61B34/35;A61B34/00;H04N7/18
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 胡晶

本發(fā)明提供一種遠程手術視覺反饋系統及方法，包括：運動捕捉系統、平板電腦、第一PC、冗余機械臂、AR眼鏡、單目相機、第二PC、第三PC和監(jiān)控器，設計了一種簡單可行且高精度的評估方法，從3D空間位置和2D圖像平面位置評估AR眼鏡定位功能的精度。為增加遙操作的直觀性，通過人體動作模仿的方式對病人端的機械臂進行控制，不僅人體手臂腕部位姿且手臂流形的運動都可以映射到機械臂。本發(fā)明能夠避免遠程手術過程中，監(jiān)控視野被手術器械遮擋的問題，能夠從不同的方向對患者進行觀察。此外，本發(fā)明的系統能從各個方位透視患者體內關鍵解剖結構和進入體內的手術器械，極大的緩解了遠程手術視野不直觀的問題，增加了手術的安全性。

技術領域

本發(fā)明涉及視覺反饋的技術領域，具體地，涉及遠程手術視覺反饋系統及方法，尤其涉及一種新型遠程手術視覺反饋系統。

背景技術

機器人遠程手術具有推動未來醫(yī)學發(fā)展的巨大潛力。例如，可以及時治療偏遠地區(qū)的緊急患者。然而，當前的遠程手術從患者側到外科醫(yī)生側的視覺反饋是不直觀的，例如缺乏深度信息、手術器械阻擋了全局視野等。為了解決這些問題，我們提出了一種新型的遠程手術視覺反饋系統，它基于增強現實和人體運動模仿，為醫(yī)生提供了沉浸式的手術體驗，使得病人端的視覺反饋更加直觀。在病人端，AR眼鏡安裝在冗余機械臂的末端執(zhí)行器上，可以提供不同方向的AR視野，在此基礎上，醫(yī)生端的外科醫(yī)生能夠透視位于患者體內的關鍵解剖結構和器械。首先，我們設計了一種簡單的方法來從3D位置和2D圖像位置評估AR眼鏡定位的準確性。其次，機械臂的控制是通過人體運動模仿來完成的，不僅人體手部的位姿而且人體手臂的流形都可以映射到機械臂上，使得機械臂的控制更加簡便快捷，操作者無需額外的專業(yè)訓練即可進行操作。

申請?zhí)枮镃N202011480937.5的中國發(fā)明專利公開了一種遠程手術數據融合交互顯示系統及方法，其技術方案是將術前和術中多模態(tài)數據充分融合并進行裸眼三維顯示，但其融合后的數據沒有疊加到現實的場景，反饋的視覺信息直觀性不夠。此外，CN202011480937.5專利的手術操作方式需要醫(yī)生與操作手柄直接接觸，增加了外科醫(yī)生交叉感染的風險，且操作者需要進行額外的專業(yè)訓練，操作復雜性和難度較高。

因此，需要提出一種技術方案以改善上述技術問題。

發(fā)明內容

針對現有技術中的缺陷，本發(fā)明的目的是提供一種遠程手術視覺反饋系統及方法。

根據本發(fā)明提供的一種遠程手術視覺反饋系統，包括：運動捕捉系統、平板電腦、第一PC、冗余機械臂、AR眼鏡、單目相機、第二PC、第三PC和監(jiān)控器；

所述運動捕捉系統包含四個IMU單元，分別固定于操作者的腰部、大臂、小臂和手部；四個所述IMU單元通過藍牙和平板電腦通信；所述冗余機械臂與第二PC連接；所述AR眼鏡、單目相機及監(jiān)控器和第三PC連接；所述第一PC和第三PC都安裝有遠程桌面控制軟件TeamViewer。

優(yōu)選地，所述運動捕捉系統采集的人體動作被平板電腦接收以后利用UDP將人體動作信息發(fā)送到第二PC，所述第二PC把人體手臂的動作映射為機械臂的運動，所述第二PC將冗余機械臂各關節(jié)的運動指令發(fā)送給機械臂。

優(yōu)選地，所述機械臂具有七個自由度，通過人體手臂運動映射的方式進行對機械臂進行控制。

本發(fā)明還提供一種遠程手術視覺反饋方法，所述方法應用上述中的遠程手術視覺反饋系統，所述方法包括如下步驟：

步驟S1：分別從3D位置和2D圖像平面對頭戴式AR眼鏡定位功能的精度進行評估；

步驟S2：第三PC利用術前CT掃描的二維平面圖重建手術對象解剖結構的三維模型；

步驟S3：對系統進行標定，將解剖結構和手術器械的虛擬模型注冊到現實場景，在AR眼鏡視野內將虛擬模型疊加到相應的位置，并利用單目相機對AR眼鏡的視野進行實時采集；