[發(fā)明專利]視線估計方法、裝置、系統(tǒng)和存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201810001860.5
• 申請日: 2018-01-02
• 公開（公告）號: CN108875524B
• 公開（公告）日: 2021-03-02
• 發(fā)明（設計）人: 熊鵬飛
• 申請（專利權）人: 北京曠視科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 高偉;卜璐璐

1.一種視線估計方法，其特征在于，所述視線估計方法包括：

獲取待處理的人眼圖像；

定位所述人眼圖像的人眼關鍵點；以及

基于所述人眼關鍵點確定所述人眼圖像中人眼的視線方向；

其中，所述人眼關鍵點包括眼睛輪廓點、眼睛中心點、虹膜中心點以及視線投影點；

所述基于所述人眼關鍵點確定所述人眼圖像中人眼的視線方向包括：

基于所述眼睛輪廓點計算眼睛投影中心；

基于所述眼睛投影中心和所述眼睛中心點計算眼睛方向；

基于所述虹膜中心點和所述視線投影點計算虹膜方向；以及

基于所述眼睛方向和所述虹膜方向計算所述人眼的視線方向。

2.根據(jù)權利要求1所述的視線估計方法，其特征在于，所述基于所述眼睛輪廓點計算眼睛投影中心包括：

計算所述眼睛輪廓點的坐標的平均值，以作為所述眼睛投影中心的坐標。

3.根據(jù)權利要求2所述的視線估計方法，其特征在于，所述基于所述眼睛投影中心和所述眼睛中心點計算眼睛方向包括：

計算所述眼睛投影中心和所述眼睛中心點之間的偏移量，以確定所述眼睛方向。

4.根據(jù)權利要求3所述的視線估計方法，其特征在于，所述基于所述虹膜中心點和所述視線投影點計算虹膜方向包括：

所述虹膜中心點為所述虹膜方向的向量的起點，所述視線投影點為所述虹膜方向的向量的終點。

5.根據(jù)權利要求4所述的視線估計方法，其特征在于，所述基于所述眼睛方向和所述虹膜方向計算所述人眼的視線方向包括：

計算所述眼睛方向和所述虹膜方向這兩條線的交點，以所述交點為中心的三維坐標對應的角度即為所述視線方向。

6.根據(jù)權利要求1所述的視線估計方法，其特征在于，所述視線估計方法利用訓練好的神經(jīng)網(wǎng)絡定位所述人眼圖像的人眼關鍵點，所述神經(jīng)網(wǎng)絡的訓練包括：

構建人眼樣本圖像數(shù)據(jù)庫，標注出所述人眼樣本圖像數(shù)據(jù)庫中每張人眼樣本圖像的人眼關鍵點作為標注結果；以及

將所述人眼樣本圖像輸入到所述神經(jīng)網(wǎng)絡，并基于梯度下降方法優(yōu)化所述神經(jīng)網(wǎng)絡的輸出結果與所述人眼樣本圖像的所述標注結果之間的誤差，以訓練所述神經(jīng)網(wǎng)絡。

7.根據(jù)權利要求6所述的視線估計方法，其特征在于，所述神經(jīng)網(wǎng)絡的訓練還包括：

對所述人眼樣本圖像進行預處理，并將經(jīng)預處理的人眼樣本圖像作為所述神經(jīng)網(wǎng)絡的輸入。

8.根據(jù)權利要求7所述的視線估計方法，其特征在于，所述對所述人眼樣本圖像進行預處理包括：

使所述每張人眼樣本圖像與模板人眼圖像對齊，所述模板人眼圖像為所述人眼樣本圖像數(shù)據(jù)庫中所有人眼樣本圖像的平均。

9.根據(jù)權利要求6所述的視線估計方法，其特征在于，所述構建人眼樣本圖像數(shù)據(jù)庫包括：

構建三維人頭模型，基于對所述三維人頭模型的隨機處理得到人眼樣本圖像構建所述人眼樣本圖像數(shù)據(jù)庫。

10.根據(jù)權利要求9所述的視線估計方法，其特征在于，所述構建三維人頭模型包括：

基于人臉圖像通過三維可變形模型獲得三維人頭模型。

11.根據(jù)權利要求9所述的視線估計方法，其特征在于，所述對所述三維人頭模型的隨機處理包括下面所述的一項或多項：

對所述三維人頭模型的隨機旋轉；

對所述三維人頭模型的眼睛區(qū)域的隨機縮放；

對所述三維人頭模型的眼睛掙閉的隨機控制；以及

對所述三維人頭模型的眼睛的紋理值、光照和陰影的隨機設置。

12.根據(jù)權利要求1所述的視線估計方法，其特征在于，所述人眼關鍵點包括人眼的上下左右四個眼睛輪廓點。