[發(fā)明專利]基于增強現(xiàn)實的介入機器人無接觸遙操系統(tǒng)及標(biāo)定方法

有效

• 申請?zhí)枺?/td>: 202110674129.0
• 申請日: 2021-06-17
• 公開（公告）號: CN113229941B
• 公開（公告）日: 2023-05-26
• 發(fā)明（設(shè)計）人: 高安柱;林澤才;楊廣中;陳衛(wèi)東;艾孝杰
• 申請（專利權(quán)）人: 上海交通大學(xué)
• 主分類號: A61B34/35
• 分類號: A61B34/35;A61B34/10;A61B34/20;A61B90/00;A61B90/30
• 代理公司: 上海漢聲知識產(chǎn)權(quán)代理有限公司 31236
• 代理人: 胡晶

1.一種基于增強現(xiàn)實的介入機器人無接觸遙操系統(tǒng)，其特征在于，包括頭戴式AR設(shè)備、PC1、PC2、光柵解調(diào)儀、磁場發(fā)生器、插入管、冗余機械臂、驅(qū)動單元、連續(xù)體機器人、LED、內(nèi)窺鏡相機、形狀傳感器和電磁傳感器，所述頭戴式AR設(shè)備與PC1相連接，所述PC2分別與光柵解調(diào)儀、磁場發(fā)生器、冗余機械臂和驅(qū)動單元相連接；

所述形狀傳感器、電磁傳感器、連續(xù)體機器人、插入管、冗余機械臂、驅(qū)動單元、內(nèi)窺鏡相機及LED組成柔性機器人；

所述頭戴式AR設(shè)備將柔性機器人模型疊加到現(xiàn)實場景，所述柔性機器人模型疊加的對象為連續(xù)體機器人和內(nèi)窺鏡插入管部分導(dǎo)管，所述連續(xù)體機器人和內(nèi)窺鏡插入管部分導(dǎo)管總長度由形狀傳感器的長度所決定；

所述系統(tǒng)的工作流程如下：

步驟1：PC1利用術(shù)前CT掃描的二維平面圖重建腔內(nèi)解剖結(jié)構(gòu)三維模型，設(shè)置內(nèi)窺鏡影像在AR設(shè)備內(nèi)的最佳觀測位置；

步驟2：對系統(tǒng)進行標(biāo)定；

步驟3：PC2利用形狀傳感系統(tǒng)測量的波長對柔性機器人的形狀進行重建，根據(jù)步驟2的標(biāo)定信息，把重建后的形狀變換到AR設(shè)備坐標(biāo)系，并把變換后的數(shù)據(jù)以及內(nèi)窺鏡影像通過無線通信發(fā)送給PC1；

步驟4：AR設(shè)備與PC1進行實時通信，醫(yī)生佩戴AR設(shè)備；

步驟5：醫(yī)生通過手勢識別對柔性機器人的運動進行控制；

所述AR設(shè)備和電磁跟蹤系統(tǒng)的標(biāo)定轉(zhuǎn)化為AX＝XB的求解問題，高效的求解了二者的變換關(guān)系，具體方法如下：

首先，將六自由度電磁傳感器固定在帶有定位標(biāo)識碼的無磁標(biāo)定板上；然后在AR設(shè)備的視場中移動標(biāo)定板，利用AR設(shè)備的相機對定位標(biāo)識碼的位姿進行估計，并記錄標(biāo)識碼和電磁傳感器的位姿；最后，定位標(biāo)識碼的姿態(tài)估計結(jié)果和電磁傳感器的位姿可用于構(gòu)建如下等式：

其中，是AR設(shè)備和定位標(biāo)識碼的變換關(guān)系，是電磁傳感器與定位標(biāo)識碼的變換關(guān)系，是AR設(shè)備和電磁跟蹤系統(tǒng)基坐標(biāo)系的變換關(guān)系，是電磁跟蹤系統(tǒng)基坐標(biāo)系和電磁傳感器的變換關(guān)系;表示不同組別的數(shù)據(jù)；式(1)和(2)可以表示為：

如果令可得到：

AX＝XB??(5)

通過求解AX＝XB即可得到X的值。

2.根據(jù)權(quán)利要求1所述的一種基于增強現(xiàn)實的介入機器人無接觸遙操系統(tǒng)，其特征在于，所述步驟2包括AR設(shè)備與電磁跟蹤系統(tǒng)的標(biāo)定、AR設(shè)備與機械臂的標(biāo)定、AR設(shè)備定與解剖結(jié)構(gòu)的標(biāo)定、形狀傳感器與電磁傳感器的標(biāo)定和AR設(shè)備與世界參考系的標(biāo)定；所述步驟4在AR設(shè)備內(nèi)醫(yī)生可觀測到柔性機器人三維形狀和腔內(nèi)解剖三維模型在現(xiàn)實場景的疊加信息，醫(yī)生實時觀看到內(nèi)窺鏡的影像。

3.根據(jù)權(quán)利要求1所述的一種基于增強現(xiàn)實的介入機器人無接觸遙操系統(tǒng)，其特征在于，所述步驟5中的AR設(shè)備識別醫(yī)生的手勢并計算腕部相對于AR設(shè)備的位置，把不同的手勢解析為不同的標(biāo)志位，柔性機器人接收到標(biāo)志位后，根據(jù)不同的標(biāo)志位進行相應(yīng)的運動。

4.根據(jù)權(quán)利要求3所述的一種基于增強現(xiàn)實的介入機器人無接觸遙操系統(tǒng)，其特征在于，醫(yī)生手的腕部靠近AR設(shè)備時，機器人前進/正向旋轉(zhuǎn)/向左彎曲。

5.根據(jù)權(quán)利要求1所述的一種基于增強現(xiàn)實的介入機器人無接觸遙操系統(tǒng)，其特征在于，所述電磁傳感器采用六自由度，通過重新定義的虛擬平面標(biāo)定電磁傳感器坐標(biāo)系與形狀傳感器坐標(biāo)系的關(guān)系。

6.一種基于增強現(xiàn)實的介入機器人無接觸遙操系統(tǒng)的標(biāo)定方法，其特征在于，所述方法包括如權(quán)利要求1-5中任一項的一種基于增強現(xiàn)實的介入機器人無接觸遙操系統(tǒng)，所述方法包括如下步驟：

S1：CT掃描腔內(nèi)解剖，獲取二維掃描圖；

S2：用2D?CT圖像重建解剖結(jié)構(gòu)的3D虛擬模型，作為目標(biāo)點云P；

S3：柔性機器人在介入的腔體入口處進行初步的移動，用連續(xù)體機器人末端的電磁傳感器采集部分解剖壁面的點云數(shù)據(jù)，作為原始云G；

S4：通過將點云G從電磁跟蹤系統(tǒng)參考系轉(zhuǎn)到AR設(shè)備的參考系，作為點云Q；

S5：利用ICP算法對點云P和Q進行匹配，通過迭代求得AR設(shè)備參考系下解剖結(jié)構(gòu)3D模型與實際解剖的變換關(guān)系。