[發明專利]遠程手術視覺反饋系統及方法

在審

• 申請號: 202210240433.9
• 申請日: 2022-03-10
• 公開（公告）號: CN114668507A
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 高安柱;林澤才;楊廣中;陳衛東;高紅巖
• 申請（專利權）人: 上海交通大學
• 主分類號: A61B34/35
• 分類號: A61B34/35;A61B34/00;H04N7/18
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 胡晶

1.一種遠程手術視覺反饋系統，其特征在于，包括：運動捕捉系統、平板電腦、第一PC、冗余機械臂、AR眼鏡、單目相機、第二PC、第三PC和監控器；

所述運動捕捉系統包含四個IMU單元，分別固定于操作者的腰部、大臂、小臂和手部；四個所述IMU單元通過藍牙和平板電腦通信；所述冗余機械臂與第二PC連接；所述AR眼鏡、單目相機及監控器和第三PC連接；所述第一PC和第三PC都安裝有遠程桌面控制軟件TeamViewer。

2.根據權利要求1所述的遠程手術視覺反饋系統，其特征在于，所述運動捕捉系統采集的人體動作被平板電腦接收以后利用UDP將人體動作信息發送到第二PC，所述第二PC把人體手臂的動作映射為機械臂的運動，所述第二PC將冗余機械臂各關節的運動指令發送給機械臂。

3.根據權利要求2所述的遠程手術視覺反饋系統，其特征在于，所述機械臂具有七個自由度，通過人體手臂運動映射的方式進行對機械臂進行控制。

4.一種遠程手術視覺反饋方法，其特征在于，所述方法應用如權利要求1-3任一項所述的遠程手術視覺反饋系統，所述方法包括如下步驟：

步驟S1：分別從3D位置和2D圖像平面對頭戴式AR眼鏡定位功能的精度進行評估；

步驟S2：第三PC利用術前CT掃描的二維平面圖重建手術對象解剖結構的三維模型；

步驟S3：對系統進行標定，將解剖結構和手術器械的虛擬模型注冊到現實場景，在AR眼鏡視野內將虛擬模型疊加到相應的位置，并利用單目相機對AR眼鏡的視野進行實時采集；

步驟S4：操作者佩戴運動捕捉系統，平板電腦實時接收四個IMU單元的姿態信息，并根據建立的人體模型實時計算胸腔、上臂、下臂及手部的位姿，最后通過UDP方式將人體的運動信息發送到第二PC；

步驟S5：第二PC根據接收的信息進行運動學計算，將人體動作映射到機械臂實時求得冗余機械臂各關節的期望角度值；

步驟S6：操作者在醫生端的第一PC上通過TeamViewer登錄到第三PC，通過第三PC的界面實時查看單目相機和監控器的視野，操作者根據第三PC的界面信息和醫生的要求調整個人的手臂姿態，從而調整AR眼鏡的位姿，為醫生提供各種不同方位的透視視野。

5.根據權利要求4所述的遠程手術視覺反饋方法，其特征在于，從3D位置對AR眼鏡定位精度進行評估，當AR眼鏡固定在機械臂末端時，AR眼鏡與機械臂末端之間的變換關系保持不變，將機械臂移動到不同的位置，記錄機械臂末端和AR眼鏡的位姿，二者的位姿構建以下等式：

其中是機械臂末端相對于基座的變換矩陣，是AR眼鏡相對于機械臂末端的變換矩陣，是AR眼鏡世界坐標系相對于機械臂基座的變換矩陣，是AR眼鏡在其世界坐標系下的位姿，表示不同組別的數據。

6.根據權利要求5所述的遠程手術視覺反饋方法，其特征在于，式(1)表示為：

如果令則得到：

AX＝XB (4)

通過求解AX＝XB得到X的值，最后，AR眼鏡的位姿從AR眼鏡世界坐標系變換到機械臂的基坐標系，并且通過比較變換后的AR眼鏡的位姿和機械臂末端的位姿評估AR眼鏡定位的準確性。

7.根據權利要求4所述的遠程手術視覺反饋方法，其特征在于，從2D圖像平面對AR眼鏡定位精度進行評估，將帶有十字架圖案的標定板固定在AR眼鏡前方，二者相對位置保持不變，由AR眼鏡生成一個虛擬的十字架，并將該虛擬十字架圖案疊加到標定板上真實的十字架，虛擬十字架的位置是根據真實十字架的初始位置預先手動設置，如下所示：

其中是虛擬十字架在AR眼鏡世界坐標系的位姿，是虛擬十字架在AR眼鏡坐標系的位姿。