[發(fā)明專利]一種單攝像頭多模式視線追蹤方法和裝置、電子設備

在審

• 申請?zhí)枺?/td>: 202210073470.5
• 申請日: 2022-01-21
• 公開（公告）號: CN114494347A
• 公開（公告）日: 2022-05-13
• 發(fā)明（設計）人: 姚超;班曉娟;楊金汩;王笑琨;孫金勝
• 申請（專利權）人: 北京科技大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06V40/16;G06V40/18;G06V20/64;G06V10/44;G06V10/48;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京市廣友專利事務所有限責任公司 11237
• 代理人: 張仲波

本發(fā)明公開了單攝像頭多模式視線追蹤方法和裝置、電子設備，屬于人機交互技術領域，所述方法包括：通過注意力增強的自適應三維人臉對齊方法，將攝像頭采集到的人臉信息進行對齊；標定人臉基準特征，并求解視線追蹤過程中的人臉基準向量；采用三維人臉對齊結果，計算面部網格上多個關鍵點三角面的法向量；以三維人臉中心為起點表征基準投射向量，擬合視線轉移矩陣，得到靈活頭部在三維空間中的動態(tài)基準向量；建立待追蹤用戶的特異性信息；在持續(xù)的視線交互過程中，利用霍夫變換取得突出邊緣的去噪圖像中的人眼虹膜數(shù)據(jù)；依據(jù)人眼虹膜數(shù)據(jù)和人臉基向量，確定眼動參考向量，完成視線追蹤，能夠提升視線追蹤的時效性且對硬件設備依賴性弱。

技術領域

本發(fā)明涉及人機交互技術領域，尤其涉及一種單攝像頭多模式視線追蹤方法和裝置、電子設備。

背景技術

視線追蹤一直是交互領域關注重點，針對視線追蹤的算法研究和交互應用以及相當成熟。三維空間的人臉對齊特征直觀表現(xiàn)了視線意圖，是大多數(shù)視線追蹤方法的基礎信息來源，三維人臉對齊算法的研究對視線追蹤技術產生了巨大影響。視線追蹤的方法主要可以分為兩大類，基于硬件設備的視線追蹤方法和基于計算機視覺的視線追蹤方法，基于計算機視覺的方法又可以分為特定數(shù)據(jù)的端到端視線追蹤算法和基于定點標定方案的視線追蹤算法。隨著視線追蹤的不斷發(fā)展，基于硬件的視線追蹤方案趨近成熟，但由于硬件設備的造價和環(huán)境要求難以全面推廣，大多在工業(yè)級場景落地測試，基于計算機視覺的方案獲得越來越多的關注。更多的端到端算法構建了專有環(huán)境的數(shù)據(jù)集和視線追蹤方法，而定點標定方案越來越多借助多攝像頭進行三維空間定位，增加了硬件依賴。

針對人臉對齊的相關問題，大量研究人員通過三維人臉存在的曲率特征和基準人臉結構特征，設計了很多符合人臉結構特性的人臉對齊方法。一些研究人員基于均值和高斯曲率的特征在圖像范圍內分割出一個凸面區(qū)域，并為每個凸面區(qū)域創(chuàng)建一個擴展的高斯圖像(Extended Gaussian Image，EGI)。EGI通過對象表面上的表面法線分布來描述對象的形狀，通過關聯(lián)EGI，將目標圖像的區(qū)域與圖庫圖像的區(qū)域進行匹配。但是，EGI對對象大小的變化不敏感，因此在這樣的表示形式無法區(qū)分兩個形狀相似但大小不同的面。針對視線追蹤的相關問題，一些研究人員提出了一種基于廣義回歸神經網絡的方法，利用瞳孔參數(shù)、瞳孔閃爍位移、瞳孔橢圓長短軸的方向和比例以及閃爍坐標來映射屏幕坐標，這個方法在初始訓練后不需要校準，但是只能適度改善頭部運動。

目前迫切需要本領域技術人員提供一種實時性好、對設備依賴性小的視線追蹤方法。

發(fā)明內容

本發(fā)明實施例的目的是提供一種單攝像頭多模式視線追蹤方法和裝置、電子設備，在對用戶進行視線追蹤時，能夠提升實時性，且對設備依賴性小。

為解決上述技術問題，本發(fā)明提供如下技術方案：

一種單攝像頭多模式視線追蹤方法，其中，所述方法包括：

通過注意力增強的自適應三維人臉對齊方法，將攝像頭采集到的人臉信息進行對齊，得到三維人臉對齊結果；

標定人臉基準特征，并求解視線追蹤過程中的人臉基準向量；

采用所述三維人臉對齊結果，計算面部網格上多個關鍵點三角面的法向量；

以三維人臉中心為起點表征基準投射向量，擬合視線轉移矩陣，得到靈活頭部在三維空間中的動態(tài)基準向量；

針對不同用戶的交互習慣，對用戶的特征進行標定，建立待追蹤用戶的特異性信息；

在持續(xù)的視線交互過程中，利用霍夫變換取得突出邊緣的去噪圖像中的人眼虹膜數(shù)據(jù)；依據(jù)所述人眼虹膜數(shù)據(jù)和所述人臉基向量，確定眼動參考向量，完成視線追蹤。

其中，通過注意力增強的自適應三維人臉對齊方法，將攝像頭采集到的人臉信息進行對齊，得到三維人臉對齊結果的步驟，包括：