[發(fā)明專利]遠(yuǎn)距離凝視交互設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202111282282.5
• 申請(qǐng)日: 2021-11-01
• 公開（公告）號(hào): CN114063775A
• 公開（公告）日: 2022-02-18
• 發(fā)明（設(shè)計(jì)）人: 王斌輝;邢樹松;趙琦;李眾
• 申請(qǐng)（專利權(quán)）人: 南開大學(xué)
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06V40/18
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種遠(yuǎn)距離凝視交互設(shè)備，其構(gòu)成包括：嵌入式計(jì)算機(jī)、無線通信模塊、USB通信模塊、視覺傳感器陣列、電源、和凝視軟件開發(fā)工具。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述視覺傳感器陣列由廣角攝像機(jī)、云臺(tái)變焦攝像機(jī)、近紅外光源、六軸慣性導(dǎo)航單元、環(huán)境光傳感器、麥克風(fēng)組成。

3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其特征在于，所述遠(yuǎn)距離凝視交互設(shè)備安裝在屏幕邊緣，和所述計(jì)算機(jī)通過USB接口或者WiFi無線通信方式連接，由視覺傳感器陣列采集人眼圖像，經(jīng)過所述計(jì)算機(jī)對(duì)凝視方位進(jìn)行計(jì)算和分析，得到人眼在屏幕上的凝視位置和凝視軌跡；具體包括以下步驟：

(1)接通所述遠(yuǎn)距離凝視交互設(shè)備電源，打開視覺傳感器陣列的攝像機(jī)和近紅外光源，所述嵌入式計(jì)算機(jī)讀取廣角攝像機(jī)拍攝到的圖像數(shù)據(jù)；

(2)根據(jù)步驟1所述的方法，對(duì)所述圖像數(shù)據(jù)進(jìn)行檢測(cè)并定位人臉區(qū)域；

(3)根據(jù)步驟2所述的方法，將云臺(tái)變焦攝像機(jī)對(duì)準(zhǔn)人眼區(qū)域，使其聚焦在步驟2所述的人眼區(qū)域中心處；

(4)根據(jù)步驟3所述的方法，該步驟通過最大值法獲得人眼區(qū)域的灰度圖像，根據(jù)瞳孔區(qū)域灰度特性獲得瞳孔圖像；

(5)根據(jù)步驟4所述的方法，該步驟根據(jù)所述瞳孔圖像區(qū)域提取出所述人眼區(qū)域的凝視特征參數(shù)，包括所述近紅外光源在角膜上形成的反射光斑坐標(biāo)和瞳孔中心坐標(biāo)；應(yīng)用質(zhì)心法求出反射光斑中心點(diǎn)的坐標(biāo)，隨后應(yīng)用邊緣檢測(cè)算法檢測(cè)瞳孔邊緣，最后使用橢圓擬合算法，計(jì)算出瞳孔中心點(diǎn)坐標(biāo)；

(6)根據(jù)步驟5所述的方法，該步驟再將人眼角膜面簡(jiǎn)化為平面，構(gòu)建人眼注視模型計(jì)算出的人眼實(shí)際凝視坐標(biāo)；

(7)根據(jù)步驟6所述的方法，該步驟對(duì)角膜曲面誤差進(jìn)行補(bǔ)償；

(8)根據(jù)步驟7所述的方法，該步驟根據(jù)所述凝視坐標(biāo)進(jìn)行光軸視軸誤差補(bǔ)償，構(gòu)建非線性映射模型，結(jié)合人眼凝視坐標(biāo)與預(yù)先標(biāo)定的凝視坐標(biāo)，使用最小均方誤差法計(jì)算從光軸到視軸的映射參數(shù)，再將得到的凝視坐標(biāo)代入該模型，得到補(bǔ)償后的人眼在屏幕上的凝視位置；

(9)根據(jù)步驟8所述的方法，該步驟根據(jù)凝視坐標(biāo)的時(shí)間序列，經(jīng)過連接、平滑、和分割操作，確定視線在屏幕上的凝視軌跡；

通過以上步驟計(jì)算凝視位置和凝視軌跡的算法，在所述凝視軟件開發(fā)工具中得到編程實(shí)現(xiàn)。

4.根據(jù)權(quán)利要求3所述的系統(tǒng)，其特征在于，所述凝視軟件開發(fā)工具由凝視算法庫、凝視動(dòng)作集、凝視消息集、鼠標(biāo)模擬器、鍵盤模擬器、觸摸屏模擬器、應(yīng)用編程接口等功能模塊組成。

5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，所述凝視動(dòng)作集中定義多種用作所述嵌入式計(jì)算機(jī)輸入命令的凝視動(dòng)作，其中包括但不限于：定點(diǎn)凝視、掃視、抖動(dòng)、環(huán)視。

6.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，按照所述凝視動(dòng)作集，定義多種凝視動(dòng)作的消息類型，以設(shè)備驅(qū)動(dòng)程序的形式，實(shí)現(xiàn)了凝視消息集，其中包括但不限于：短凝視、長凝視、跟隨、上升、下降、左移、右移、其它方向掃視、抖動(dòng)、環(huán)視、長凝視拖動(dòng)、進(jìn)入、退出。

7.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，所述鼠標(biāo)模擬器定義了凝視消息到鼠標(biāo)消息的映射關(guān)系，以設(shè)備驅(qū)動(dòng)程序方式實(shí)現(xiàn)。

8.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，所述鍵盤模擬器定義了凝視消息到鍵盤消息的映射關(guān)系，鍵盤模擬器在屏幕上顯示虛擬鍵盤，人眼的凝視動(dòng)作按所述照映射關(guān)系產(chǎn)生相應(yīng)的鍵盤消息，實(shí)現(xiàn)用凝視動(dòng)作按鍵的效果。

9.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，所述觸摸屏模擬器定義了凝視消息到觸摸屏消息的映射關(guān)系，以設(shè)備驅(qū)動(dòng)程序方式實(shí)現(xiàn)。

10.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，所述應(yīng)用編程接口為應(yīng)用程序使用凝視交互功能定義了函數(shù)庫，實(shí)現(xiàn)的功能和服務(wù)包括但不限于：傳感器陣列設(shè)備參數(shù)獲取和設(shè)置、攝像機(jī)操作、近紅外光源控制、圖像采集、圖像處理、凝視動(dòng)作分析、傳感器校準(zhǔn)、環(huán)境數(shù)據(jù)采集、可視化界面。