[發(fā)明專利]基于視線追蹤控制的醫(yī)用內(nèi)窺鏡操控系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201410322232.9
• 申請(qǐng)日: 2014-07-08
• 公開（公告）號(hào): CN104055478A
• 公開（公告）日: 2014-09-24
• 發(fā)明（設(shè)計(jì)）人: 金純;李婭萍;汪源
• 申請(qǐng)（專利權(quán)）人: 金純
• 主分類號(hào): A61B1/00
• 分類號(hào): A61B1/00
• 代理公司: 重慶博凱知識(shí)產(chǎn)權(quán)代理有限公司 50212
• 代理人: 李明

1.基于視線追蹤控制的醫(yī)用內(nèi)窺鏡操控系統(tǒng)，其特征在于，包括相互建立無線通信連接的頭戴式視線追蹤控制器和醫(yī)用內(nèi)窺鏡；

所述頭戴式視線追蹤控制器具有顯示模塊，用于佩戴在人體頭部，通過對(duì)人眼動(dòng)作和視線進(jìn)行追蹤識(shí)別而控制顯示模塊輸出的顯示畫面上操作指針的指示位置以及操作指針?biāo)鶊?zhí)行的功能操作，進(jìn)而根據(jù)操作指針的指示位置以及操作指針?biāo)鶊?zhí)行的功能操作觸發(fā)相應(yīng)的內(nèi)窺鏡控制指令，通過無線通信將內(nèi)窺鏡控制指令傳送至醫(yī)用內(nèi)窺鏡，并接收醫(yī)用內(nèi)窺鏡通過無線通信回傳的數(shù)字圖像，通過顯示模塊的顯示畫面加以呈現(xiàn)；

所述醫(yī)用內(nèi)窺鏡用于接收頭戴式視線追蹤控制器通過無線通信傳送的內(nèi)窺鏡控制指令，根據(jù)內(nèi)窺鏡控制指令執(zhí)行相應(yīng)操作，并拍攝和處理得到其探頭前方的數(shù)字圖像，通過無線通信將數(shù)字圖像回傳至頭戴式視線追蹤控制器進(jìn)行顯示。

2.根據(jù)權(quán)利要求1所述基于視線追蹤控制的醫(yī)用內(nèi)窺鏡操控系統(tǒng)，其特征在于，所述頭戴式視線追蹤控制器包括用于通過佩戴而固定在人體頭部上的佩戴支架，以及設(shè)置在所述佩戴支架上的紅外測(cè)距傳感器、微型紅外攝像頭、圖像處理模塊、視線追蹤識(shí)別模塊、中央控制模塊、數(shù)據(jù)存儲(chǔ)模塊、第一無線數(shù)據(jù)收發(fā)模塊、顯示模塊和第一電源模塊；所述佩戴支架具有對(duì)應(yīng)于人體眉毛位置處的眉部，所述微型紅外攝像頭以及紅外測(cè)距傳感器的紅外發(fā)射器和紅外接收器均設(shè)置于佩戴支架的眉部并朝向人體眼睛所在方向；所述顯示模塊輸出的顯示畫面所在位置位于佩戴支架的眉部的下方對(duì)應(yīng)于人體眼睛位置處；

其中，微型紅外攝像頭的紅外圖像數(shù)據(jù)輸出端與圖像處理模塊的紅外圖像采集端電連接，圖像處理模塊的處理數(shù)據(jù)輸出端與視線追蹤識(shí)別模塊的人眼數(shù)據(jù)采集端電連接，視線追蹤識(shí)別模塊的識(shí)別信息輸出端與中央控制模塊的眼動(dòng)數(shù)據(jù)輸入端電連接，紅外測(cè)距傳感器的距離信號(hào)輸出端與中央控制模塊的距離數(shù)據(jù)輸入端電連接，中央控制模塊的顯示信號(hào)輸出端與顯示模塊的顯示信號(hào)輸入端電連接，中央控制模塊的參數(shù)采集端與數(shù)據(jù)存儲(chǔ)模塊進(jìn)行數(shù)據(jù)連接，中央控制模塊的數(shù)據(jù)通信端與第一無線數(shù)據(jù)收發(fā)模塊進(jìn)行數(shù)據(jù)連接，由第一電源模塊分別為紅外測(cè)距傳感器、微型紅外攝像頭、圖像處理模塊、視線追蹤識(shí)別模塊、中央控制模塊、數(shù)據(jù)存儲(chǔ)模塊、第一無線數(shù)據(jù)收發(fā)模塊和顯示模塊供電；

所述顯示模塊用于通過輸出的顯示畫面顯示對(duì)醫(yī)用內(nèi)窺鏡進(jìn)行操作控制的虛擬操作按鈕，并根據(jù)顯示信號(hào)輸入端接收到的信號(hào)對(duì)其顯示畫面中所顯示呈現(xiàn)的內(nèi)容以及操作指針?biāo)甘镜奈恢煤蛨?zhí)行的功能操作進(jìn)行顯示控制；

所述數(shù)據(jù)存儲(chǔ)模塊用于存儲(chǔ)設(shè)備參數(shù)數(shù)據(jù)和指令參數(shù)數(shù)據(jù)；所述設(shè)備參數(shù)數(shù)據(jù)記錄的信息包括佩戴支架上紅外接收器所在位置與顯示模塊輸出的顯示畫面所在位置之間的三維位置關(guān)系；所述指令參數(shù)數(shù)據(jù)記錄的信息包括操作指針功能指令所對(duì)應(yīng)的眼睛睜閉動(dòng)作以及瞳孔移動(dòng)動(dòng)作，還包括顯示畫面中虛擬操作按鈕被觸發(fā)時(shí)所對(duì)應(yīng)的內(nèi)窺鏡控制指令；

所述紅外測(cè)距傳感器用于通過紅外發(fā)射器實(shí)時(shí)地向人體眼睛所在位置發(fā)射出紅外光，通過紅外接收器接收由紅外光在人體眼睛所在位置漫反射后返回的紅外反射光，由紅外測(cè)距傳感器的測(cè)距處理模塊根據(jù)紅外光發(fā)出時(shí)間與紅外反射光接收時(shí)間之間所存在的時(shí)差進(jìn)行換算而測(cè)得佩戴支架上紅外接收器所在位置與人體眼睛所在位置的距離數(shù)據(jù)，并將該距離數(shù)據(jù)傳送至中央控制模塊；

所述微型紅外攝像頭用于拍攝人體眼睛所在位置的原始紅外圖像，并通過紅外圖像數(shù)據(jù)輸出端實(shí)時(shí)地傳送至圖像處理模塊；

所述圖像處理模塊用于實(shí)時(shí)獲取微型紅外攝像頭拍攝的原始紅外圖像，通過圖像分割處理從原始紅外圖像中分割得到人眼區(qū)域圖像，并將得到的人眼區(qū)域圖像進(jìn)行濾波和邊緣增強(qiáng)處理后，通過處理數(shù)據(jù)輸出端實(shí)時(shí)地傳送至視線追蹤識(shí)別模塊；

所述視線追蹤識(shí)別模塊用于實(shí)時(shí)獲取圖像處理模塊處理得到的人眼區(qū)域圖像，通過圖像邊界識(shí)別處理而確定人眼區(qū)域圖像中的眼睛形狀、瞳孔位置和角膜反射光斑，進(jìn)而確定眼睛的睜閉狀態(tài)、瞳孔中心所在位置以及角膜反射光斑中心所在位置，并將眼睛的睜閉狀態(tài)、瞳孔中心所在位置以及角膜反射光斑中心所在位置通過識(shí)別信息輸出端實(shí)時(shí)地傳送至中央控制模塊；

所述第一無線數(shù)據(jù)收發(fā)模塊用于與醫(yī)用內(nèi)窺鏡建立無線通信連接，實(shí)現(xiàn)與醫(yī)用內(nèi)窺鏡之間的數(shù)據(jù)收發(fā)通信；

所述中央控制模塊用于實(shí)時(shí)地根據(jù)眼動(dòng)數(shù)據(jù)輸入端接收到的瞳孔中心所在位置與角膜反射光斑中心所在位置所構(gòu)成的位置向量而估算確定人眼的視線方向，并結(jié)合通過參數(shù)采集端從數(shù)據(jù)存儲(chǔ)模塊提取的佩戴支架上紅外接收器所在位置與顯示模塊輸出的顯示畫面所在位置之間的三維位置關(guān)系以及通過距離數(shù)據(jù)輸入端獲取到的佩戴支架上紅外接收器所在位置與人體眼睛所在位置的距離數(shù)據(jù)構(gòu)建空間三維坐標(biāo)，通過該空間三維坐標(biāo)計(jì)算確定人體眼睛所在位置相對(duì)于顯示模塊輸出的顯示畫面上各個(gè)顯示位置點(diǎn)的距離，進(jìn)而計(jì)算確定人眼的視線方向在顯示畫面上的實(shí)時(shí)相交點(diǎn)，并生成操作指針位置指令通過顯示信號(hào)輸出端實(shí)時(shí)地傳送至顯示模塊，控制其顯示畫面上的操作指針實(shí)時(shí)地指示于人眼的視線方向在顯示畫面上的相交點(diǎn)位置；中央控制模塊還用于實(shí)時(shí)地根據(jù)眼動(dòng)數(shù)據(jù)輸入端接收到的眼睛的睜閉狀態(tài)和瞳孔中心所在位置的變化情況確定眼睛的實(shí)際睜閉動(dòng)作和瞳孔的實(shí)際移動(dòng)動(dòng)作，且與通過參數(shù)采集端從數(shù)據(jù)存儲(chǔ)模塊提取的操作指針功能指令所對(duì)應(yīng)的眼睛睜閉動(dòng)作以及瞳孔移動(dòng)動(dòng)作進(jìn)行對(duì)比，判斷是否匹配，并在判定匹配時(shí)將相匹配的操作指針功能指令通過顯示信號(hào)輸出端傳送至顯示模塊以控制其顯示畫面上的操作指針?biāo)甘镜奈恢脠?zhí)行相應(yīng)的功能操作，進(jìn)而判斷顯示畫面上操作指針?biāo)甘镜奈恢脠?zhí)行的功能操作是否觸發(fā)了顯示畫面中的虛擬操作按鈕，并在判定虛擬操作按鈕被觸發(fā)時(shí)通過參數(shù)采集端從數(shù)據(jù)存儲(chǔ)模塊提取對(duì)應(yīng)的內(nèi)窺鏡控制指令，通過數(shù)據(jù)通信端傳送至第一無線收發(fā)模塊，由第一無線收發(fā)模塊將內(nèi)窺鏡控制指令發(fā)送至醫(yī)用內(nèi)窺鏡；此外，中央控制模塊還用于通過第一無線數(shù)據(jù)收發(fā)模塊接收醫(yī)用內(nèi)窺鏡回傳的數(shù)字圖像，并通過顯示信號(hào)輸出端將接收到的數(shù)字圖像實(shí)時(shí)地傳送至顯示模塊，控制其顯示畫面進(jìn)行顯示呈現(xiàn)。