[發(fā)明專利]基于陣列鏡頭的學(xué)習(xí)興趣測試方法及裝置

在審

• 申請?zhí)枺?/td>: 201711067437.7
• 申請日: 2017-11-02
• 公開（公告）號: CN107832698A
• 公開（公告）日: 2018-03-23
• 發(fā)明（設(shè)計）人: 鄒建成;陳宇鵬
• 申請（專利權(quán)）人: 北方工業(yè)大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06Q50/20
• 代理公司: 北京北新智誠知識產(chǎn)權(quán)代理有限公司11100
• 代理人: 朱麗華

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于陣列鏡頭的學(xué)習(xí)興趣測試方法及裝置，屬于圖像處理及計算機視覺處理技術(shù)領(lǐng)域。

背景技術(shù)

人臉表情攜帶著很大的信息量，通過分析人臉表情，進(jìn)而分析對象的興趣點所在，具有廣泛的應(yīng)用前景，目前已在互動游戲平臺、安全駕駛提醒、遠(yuǎn)程教育系統(tǒng)、智能交通、輔助醫(yī)護(hù)等方面取得了良好的應(yīng)用效果。

隨著教育改革的推進(jìn)，中學(xué)從過去的語數(shù)英物化考試改為了選考，很多初一的家長和學(xué)生都希望盡早確定自己的興趣所在以及適合的科目，借助于人臉表情識別以及人眼關(guān)注程度，可以輔助分析出感興趣的科目，而目前尚沒有相關(guān)的技術(shù)可以實現(xiàn)。

發(fā)明內(nèi)容

鑒于上述原因，本發(fā)明的目的在于提供一種基于陣列鏡頭的學(xué)習(xí)興趣測試方法及裝置，能夠根據(jù)識別的人臉表情結(jié)合人眼關(guān)注程度，輔助確定感興趣的科目，測試結(jié)果較為準(zhǔn)確。

為實現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

一種基于陣列鏡頭的學(xué)習(xí)興趣測試裝置，包括人眼活動軌跡檢測模塊，人臉表情識別模塊，關(guān)注度檢測模塊；

人眼活動軌跡檢測模塊，用于檢測人眼活動軌跡，得到人眼注視位置，并統(tǒng)計不同注視位置的注視時間；

人臉表情識別模塊，用于識別人臉表情；

關(guān)注度檢測模塊，用于根據(jù)人眼注視位置、注視時間及人臉表情，確定關(guān)注程度。

所述檢測人眼活動軌跡的方法是：

利用紅外鏡頭采集瞳孔具有光斑的人臉圖像；

從該人臉圖像中提取出人眼區(qū)域圖像；

從該人眼區(qū)域圖像中提取瞳孔圖像、光斑圖像；

確定瞳孔、光斑的中心坐標(biāo)，

確定瞳孔、光斑的中心坐標(biāo)與注視點坐標(biāo)的關(guān)系；

根據(jù)連續(xù)的注視點坐標(biāo)，得到人眼活動軌跡。

識別人臉表情的方法是：

利用陣列式鏡頭采集人臉圖像；

從人臉圖像中識別人臉區(qū)域圖像；

將人臉區(qū)域圖像調(diào)整為正面人臉姿態(tài)的人臉區(qū)域圖像；

將調(diào)整后的人臉區(qū)域圖像輸入卷積神經(jīng)網(wǎng)絡(luò)模型，輸出人臉表情識別結(jié)果。

一種基于陣列鏡頭的學(xué)習(xí)興趣測試方法，包括：

檢測人眼活動軌跡，確定人眼注視位置、不同注視位置的注視時間；

識別人臉表情；

根據(jù)人眼注視位置、注視時間及相應(yīng)的人臉表情，確定關(guān)注程度。

所述檢測人眼活動軌跡的方法是：

利用紅外鏡頭采集瞳孔具有光斑的人臉圖像；

從該人臉圖像中提取出人眼區(qū)域圖像；

從該人眼區(qū)域圖像中提取瞳孔圖像、光斑圖像；

確定瞳孔、光斑的中心坐標(biāo)，

確定瞳孔、光斑的中心坐標(biāo)與注視點坐標(biāo)的關(guān)系；

根據(jù)連續(xù)的注視點坐標(biāo)，得到人眼活動軌跡。

從所述人眼區(qū)域圖像中提取瞳孔圖像的方法是：

利用梯度算法確定所述人眼區(qū)域圖像中像素值變化最大的點，作為瞳孔點；以該瞳孔點為中心，劃分一個瞳孔區(qū)域；對該瞳孔區(qū)域利用OTSU算法，生成瞳孔圖像。

從所述人眼區(qū)域圖像中提取光斑圖像的方法是：

對所述人眼區(qū)域圖像進(jìn)行取反處理，生成取反后的人眼區(qū)域圖像；利用梯度算法確定取反后的人眼區(qū)域圖像中像素值變化最大的點，作為光斑點；以該光斑點為中心，劃分一個光斑區(qū)域；對該光斑區(qū)域依次利用OTSU算法，生成光斑圖像。

利用瞳孔-角膜向量反射法，建立所述瞳孔及光斑的中心坐標(biāo)與注視點的映射關(guān)系為，

其中，(X_gaze，Y_gaze)為注視點坐標(biāo)，

其中，(x_p，y_p)為瞳孔的中心坐標(biāo)，(x_c，y_c)為光斑的中心坐標(biāo)，利用重心法確定所述瞳孔、光斑的中心坐標(biāo)。

所述識別人臉表情的方法是：

利用陣列式鏡頭采集人臉圖像；

從人臉圖像中識別人臉區(qū)域圖像；

將人臉區(qū)域圖像調(diào)整為正面人臉姿態(tài)的人臉區(qū)域圖像；

將調(diào)整后的人臉區(qū)域圖像輸入卷積神經(jīng)網(wǎng)絡(luò)模型，輸出人臉表情識別結(jié)果。

所述卷積神經(jīng)網(wǎng)絡(luò)模型包括依序連接的2個卷積層、1個池化層、2個卷積層、1個池化層和2個全連接層；

1)卷積層I，卷積核大小為11*11，步長為4，卷積核個數(shù)為96，無填充；

2)卷積層II，卷積核大小為3*3，步長為2，卷積核個數(shù)為128，填充為2；