[發(fā)明專利]一種單攝像頭多模式視線追蹤方法和裝置、電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202210073470.5
• 申請日: 2022-01-21
• 公開（公告）號: CN114494347A
• 公開（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: 姚超;班曉娟;楊金汩;王笑琨;孫金勝
• 申請（專利權(quán)）人: 北京科技大學(xué)
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06V40/16;G06V40/18;G06V20/64;G06V10/44;G06V10/48;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京市廣友專利事務(wù)所有限責(zé)任公司 11237
• 代理人: 張仲波

1.一種單攝像頭多模式視線追蹤方法，其特征在于，所述方法包括：

通過注意力增強(qiáng)的自適應(yīng)三維人臉對齊方法，將攝像頭采集到的人臉信息進(jìn)行對齊，得到三維人臉對齊結(jié)果；

標(biāo)定人臉基準(zhǔn)特征，并求解視線追蹤過程中的人臉基準(zhǔn)向量；

采用所述三維人臉對齊結(jié)果，計(jì)算面部網(wǎng)格上多個關(guān)鍵點(diǎn)三角面的法向量；

以三維人臉中心為起點(diǎn)表征基準(zhǔn)投射向量，擬合視線轉(zhuǎn)移矩陣，得到靈活頭部在三維空間中的動態(tài)基準(zhǔn)向量；

針對不同用戶的交互習(xí)慣，對用戶的特征進(jìn)行標(biāo)定，建立待追蹤用戶的特異性信息；

在持續(xù)的視線交互過程中，利用霍夫變換取得突出邊緣的去噪圖像中的人眼虹膜數(shù)據(jù)；依據(jù)所述人眼虹膜數(shù)據(jù)和所述人臉基向量，確定眼動參考向量，完成視線追蹤。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，通過注意力增強(qiáng)的自適應(yīng)三維人臉對齊方法，將攝像頭采集到的人臉信息進(jìn)行對齊，得到三維人臉對齊結(jié)果的步驟，包括：

確定自適應(yīng)性的人臉檢測方法，并采用所確定的自適應(yīng)的人臉檢測方法，采集人臉信息；

針對攝像頭采集的人臉信息，通過多尺度卷積核提取多尺度圖像感受野，并利用變形卷積對所述人臉信息中的人臉特征進(jìn)行提取，確定存在變形的人臉特征；

對所述攝像頭采集的人臉信息進(jìn)行三維人臉關(guān)鍵點(diǎn)識別過程中引入注意力機(jī)制，得到三維人臉對齊結(jié)果。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，確定自適應(yīng)的人臉檢測方法的步驟，包括：

采用兩次池化和級聯(lián)修正線性單元剔除所述攝像頭采集的人臉信息中的無關(guān)特征點(diǎn)；

通過Inception的特征模塊作為骨干網(wǎng)絡(luò)獲取不同結(jié)構(gòu)的特征信息；

進(jìn)行形狀自適應(yīng)，采用單映射多框預(yù)測方法在骨干網(wǎng)絡(luò)后通過幾個不同的卷積核提取不同尺度的特征。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，對所述攝像頭采集的人臉信息進(jìn)行三維人臉關(guān)鍵點(diǎn)識別過程中引入注意力機(jī)制，得到三維人臉對齊結(jié)果包括：

基于熱度圖的三維人臉特征提取，采用DenseNet前兩層結(jié)構(gòu)提取二維關(guān)鍵點(diǎn)的特征圖，整合特征到69個關(guān)鍵點(diǎn)熱度圖，其中，68個是關(guān)鍵點(diǎn)，1個是背景；

采用基于注意力機(jī)制的可堆疊殘差結(jié)構(gòu)進(jìn)行t特征解碼。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在持續(xù)的視線交互過程中，利用霍夫變換取得突出邊緣的去噪圖像中的人眼虹膜數(shù)據(jù)；依據(jù)所述人眼虹膜數(shù)據(jù)和所述人臉基向量，確定眼動參考向量，完成視線追蹤，包括：

在持續(xù)的視線交互過程中，基于所述人臉基準(zhǔn)向量，采用基于尺度固定霍夫特征的虹膜識別方法定位眼動向量動態(tài)虹膜中心；

選取人臉關(guān)鍵點(diǎn)中具有穩(wěn)定特征關(guān)鍵點(diǎn)坐標(biāo)作為參考坐標(biāo)，計(jì)算出雙眼的虹膜中心坐標(biāo)和人臉基準(zhǔn)向量三維空間信息的關(guān)鍵特征；

根據(jù)人臉基準(zhǔn)向量三維空間信息的關(guān)鍵特征，采用視線追蹤回歸函數(shù)完成眼動向量視線追蹤。

6.一種單攝像頭多模式視線追蹤裝置，其特征在于，所述裝置包括：

對齊模塊，用于通過注意力增強(qiáng)的自適應(yīng)三維人臉對齊方法，將攝像頭采集到的人臉信息進(jìn)行對齊，得到三維人臉對齊結(jié)果；

標(biāo)定模塊，用于標(biāo)定人臉基準(zhǔn)特征，并求解視線追蹤過程中的人臉基準(zhǔn)向量；

計(jì)算模塊，用于采用所述三維人臉對齊結(jié)果，計(jì)算面部網(wǎng)格上多個關(guān)鍵點(diǎn)三角面的法向量；

擬合模塊，用于以三維人臉中心為起點(diǎn)表征基準(zhǔn)投射向量，擬合視線轉(zhuǎn)移矩陣，得到靈活頭部在三維空間中的動態(tài)基準(zhǔn)向量；

建立模塊，用于針對不同用戶的交互習(xí)慣，對用戶的特征進(jìn)行標(biāo)定，建立待追蹤用戶的特異性信息；

追蹤模塊，用于在持續(xù)的視線交互過程中，利用霍夫變換取得突出邊緣的去噪圖像中的人眼虹膜數(shù)據(jù)；依據(jù)所述人眼虹膜數(shù)據(jù)和所述人臉基向量，確定眼動參考向量，完成視線追蹤。