[發(fā)明專利]一種腹腔鏡手術持鏡機器人系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202111138355.3
• 申請日: 2021-09-27
• 公開（公告）號: CN113925613B
• 公開（公告）日: 2023-07-07
• 發(fā)明（設計）人: 彭鍵清;康亮;劉華山;張弛
• 申請（專利權）人: 中山大學;中山大學附屬第六醫(yī)院
• 主分類號: A61B34/30
• 分類號: A61B34/30
• 代理公司: 深圳市創(chuàng)富知識產(chǎn)權代理有限公司 44367
• 代理人: 高冰

1.一種腹腔鏡手術持鏡機器人系統(tǒng)，所述系統(tǒng)包括持鏡機器人本體、所述持鏡機器人本體的末端上的腹腔鏡連接件，所述腹腔鏡連接件上固定設有腹腔鏡，其特征在于，所述系統(tǒng)還包括語音控制系統(tǒng)、遙控系統(tǒng)與智能追蹤系統(tǒng)，其中，所述語音控制系統(tǒng)具有語音指令識別模塊、所述遙控系統(tǒng)具有遙控指令處理模塊，所述智能追蹤系統(tǒng)具有獲取腹腔鏡手術圖像模塊、手術器械尖端檢測與分割模塊、獲取手術器械尖端中心模塊與獲取腹腔鏡控制速度模塊；所述系統(tǒng)還包括持鏡機器人逆運動學求解模塊、控制持鏡機器人運動模塊；

所述獲取腹腔鏡手術圖像模塊的輸入端為所述腹腔鏡視野內(nèi)的真實三維空間場景，所述獲取腹腔鏡手術圖像模塊的輸出端與所述手術器械尖端檢測與分割模塊的輸入端連接；所述手術器械尖端檢測與分割模塊的輸出端與所述獲取手術器械尖端中心模塊的輸入端連接；所述獲取手術器械尖端中心模塊的輸出端與所述獲取腹腔鏡控制速度模塊的輸入端連接；所述獲取腹腔鏡控制速度模塊的輸出端與所述持鏡機器人逆運動學求解模塊輸入端連接；所述持鏡機器人逆運動學求解模塊的輸出端與所述控制持鏡機器人運動模塊的輸入端連接，所述控制持鏡機器人運動模塊的輸出端為所述持鏡機器人的關節(jié)角的驅(qū)動信號，用于控制所述持鏡機器人的運動；其中，所述語音指令識別模塊、遙控指令處理模塊分別與所述持鏡機器人逆運動學求解模塊的輸出端連接；

每個包圍盒使用目標邊框中心坐標和目標邊框尺寸表示，假設一個圖像單元為I_cell，深度目標檢測模型預測圖像單元中邊界框的四個坐標(x_t,y_t,w_t,h_t)和檢測到的手術器械尖端屬于各個類別的概率p＝(p₁,p₂,...,p_n)，n表示手術器械的種類數(shù)量，表達式如下：

(x_t,y_t,w_t,h_t,p)＝detection(I_cell)

式中，detection()表示深度目標檢測模型；

假設檢測到的手術器械尖端的邊框中心坐標表示為(x_box,y_box)，寬度和高度表示為(w_box,h_box)，計算公式如下：

式中，(x_cell,y_cell)表示單元左上角坐標，(w_p,h_p)表示邊框的先驗寬度和高度，σ()表示sigmoid函數(shù)，表達式如下：

假設檢測到的手術器械尖端的類別表示為c_box，表達式如下：

c_box＝argmax(p)；

所述手術器械尖端分割單元中先通過深度目標分割模型獲取圖像各個像素點的類別，進一步計算手術器械尖端的輪廓；

手術器械尖端分割的任務也即對圖像中每個像素進行分類，每個像素的類別有兩種：手術器械尖端類和背景類；

假設手術器械尖端包圍盒的圖像為I_box，寬度和高度為(w_box,h_box)，深度目標分割模型預測圖像中每個像素點(i,j)∈I_box,i∈[1,w_box],j∈[1,h_box]屬于手術器械尖端類的概率P＝{p_ij}，表達式如下：

P＝segmentation(I_box)

式中，segmentation()表示深度目標分割模型；

假設像素點(i,j)的類別表示為c_ij，表達式如下：

c_ij＝arg?max(p_ij,1-p_ij)

利用各個像素點的類別對圖像進行二值化，得到的圖像為I_b，進一步使用Sobel算子計算圖像的近似梯度G，以提取手術器械尖端的輪廓；

假設圖像在水平方向和垂直方向的梯度分別為G_x和G_y，表達式如下：

G＝|G_x|+|G_y|

式中，*表示矩陣卷積運算，另外，梯度越大的像素點越有可能是邊緣；

所述持鏡機器人逆運動學求解模塊用于完成腹腔鏡末端到持鏡機器人關節(jié)的逆運動學求解；其中包括持鏡機器人末端到持鏡機器人關節(jié)的逆運動學求解、腹腔鏡末端到持鏡機器人末端的逆運動學求解；

所述持鏡機器人末端到持鏡機器人關節(jié)的逆運動學求解包括：

正運動學方程為：

其中，[n_x,n_y,n_z]^T,[o_x,o_y,o_z]^T,[a_x,a_y,a_z]^T分別表示機器人末端沿著x,y,z軸的方向向量，[p_x,p_y,p_z]^T表示機器人末端的位置矢量，fkine()代表正運動學方程，ⁱT_j為i號坐標系到j號坐標系的齊次變換矩陣，θ₁,…,θ₆依次為機器人關節(jié)一到關節(jié)六的旋轉(zhuǎn)角度；

根據(jù)，第1號坐標系到末端的齊次變換矩陣也可以表示為：

其中，a₂和a₃為連桿二和連桿三的偏置量，d₄和d₅連桿四和連桿五的長度；

根據(jù)第1號坐標系到末端的齊次變換矩陣的關系可求得4組對應的位置級逆運動學解，當已知當前時刻持鏡機器人末端的齊次變換矩陣T_e，通過求解方法即可解算其對應的關節(jié)角數(shù)據(jù)θ₁,…,θ₆；

所述腹腔鏡末端到持鏡機器人末端的逆運動學求解；

腹腔鏡末端到持鏡機器人末端的逆運動學求解實際上就是個手眼標定問題，手眼標定系統(tǒng)中為持鏡機器人末端坐標系從i時刻變換到j時刻的齊次變換矩陣，為腹腔鏡末端坐標系從i時刻變換到j時刻的齊次變換矩陣，為i時刻腹腔鏡末端坐標系與機器人末端坐標系之間的相對位姿變換矩陣；

根據(jù)坐標變換，和滿足如下關系：

進一步地，式可簡化為：

其中，^bR_a和^bt_a分別為^bΤ_a的旋轉(zhuǎn)矩陣與平移向量，O_3×1＝[0,0,0]；

將式進行展開可得到腹腔鏡末端到持鏡機器人末端的運動學方程，即：

其中，I_3×3為三階單位矩陣；

通過非線性優(yōu)化方法很容易求解得到式中腹腔鏡末端到持鏡機器人末端的最優(yōu)旋轉(zhuǎn)矩陣將其代入式可得腹腔鏡末端到持鏡機器人末端最優(yōu)的平移向量

于是，腹腔鏡末端到持鏡機器人末端的逆運動學求解結果為旋轉(zhuǎn)矩陣以及平移向量