[發(fā)明專利]視線估計方法、裝置、系統(tǒng)和存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201810001860.5
• 申請日: 2018-01-02
• 公開（公告）號: CN108875524B
• 公開（公告）日: 2021-03-02
• 發(fā)明（設(shè)計）人: 熊鵬飛
• 申請（專利權(quán)）人: 北京曠視科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京市磐華律師事務(wù)所 11336
• 代理人: 高偉;卜璐璐

本發(fā)明提供了一種視線估計方法、裝置、系統(tǒng)和存儲介質(zhì)，所述視線估計方法包括：獲取待處理的人眼圖像；定位所述人眼圖像的人眼關(guān)鍵點；以及基于所述人眼關(guān)鍵點確定所述人眼圖像中人眼的視線方向。根據(jù)本發(fā)明實施例的視線估計方法、裝置、系統(tǒng)和存儲介質(zhì)利用人眼關(guān)鍵點對人眼圖像中的人眼進行視線估計，能夠模擬輸入特征到視線的復(fù)雜映射關(guān)系，有效解決淺層模型或線性模型估計不準(zhǔn)的問題，從而提高視線估計的精度，且處理速度快。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機視覺技術(shù)領(lǐng)域，更具體地涉及一種視線估計方法、裝置、系統(tǒng)和存儲介質(zhì)。

背景技術(shù)

在計算機視覺中，視線估計是指基于輸入的人臉圖像，定位人臉眼睛區(qū)域并根據(jù)虹膜位置估計人眼視線方向。傳統(tǒng)的視線估計方法需要借助于外部設(shè)備，如紅外光源使得光斑更明顯，而且很容易受到光照、遮擋和姿態(tài)的影響；或者依賴于人眼睛區(qū)域的定位準(zhǔn)確性，且很難準(zhǔn)確描述人眼特征與視線之間的關(guān)系。

因此，需要提供一種新的視線估計方案。

發(fā)明內(nèi)容

本發(fā)明提出了一種視線估計方案，其利用人眼關(guān)鍵點對人眼圖像中的人眼進行視線估計，能夠有效克服淺層模型或線性模型估計不準(zhǔn)的缺點。下面簡要描述本發(fā)明提出的關(guān)于視線估計的方案，更多細節(jié)將在后續(xù)結(jié)合附圖在具體實施方式中加以描述。

根據(jù)本發(fā)明一方面，提供了一種視線估計方法，所述視線估計方法包括：獲取待處理的人眼圖像；定位所述人眼圖像的人眼關(guān)鍵點；以及基于所述人眼關(guān)鍵點確定所述人眼圖像中人眼的視線方向。

在一個實施例中，所述人眼關(guān)鍵點包括眼睛輪廓點、眼睛中心點、虹膜中心點以及視線投影點。

在一個實施例中，所述基于所述人眼關(guān)鍵點確定所述人眼圖像中人眼的視線方向包括：基于所述眼睛輪廓點計算眼睛投影中心；基于所述眼睛投影中心和所述眼睛中心點計算眼睛方向；基于所述虹膜中心點和所述視線投影點計算虹膜方向；以及基于所述眼睛方向和所述虹膜方向計算所述人眼的視線方向。

在一個實施例中，所述基于所述眼睛輪廓點計算眼睛投影中心包括：計算所述眼睛輪廓點的坐標(biāo)的平均值，以作為所述眼睛投影中心的坐標(biāo)。

在一個實施例中，所述基于所述眼睛投影中心和所述眼睛中心點計算眼睛方向包括：計算所述眼睛投影中心和所述眼睛中心點之間的偏移量，以確定所述眼睛方向。

在一個實施例中，所述基于所述虹膜中心點和所述視線投影點計算虹膜方向包括：所述虹膜中心點為所述虹膜方向的向量的起點，所述視線投影點為所述虹膜方向的向量的終點。

在一個實施例中，所述基于所述眼睛方向和所述虹膜方向計算所述人眼的視線方向包括：計算所述眼睛方向和所述虹膜方向這兩條線的交點，以所述交點為中心的三維坐標(biāo)對應(yīng)的角度即為所述視線方向。

在一個實施例中，所述視線估計方法利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)定位所述人眼圖像的人眼關(guān)鍵點，所述神經(jīng)網(wǎng)絡(luò)的訓(xùn)練包括：構(gòu)建人眼樣本圖像數(shù)據(jù)庫，標(biāo)注出所述人眼樣本圖像數(shù)據(jù)庫中每張人眼樣本圖像的人眼關(guān)鍵點作為標(biāo)注結(jié)果；以及將所述人眼樣本圖像輸入到所述神經(jīng)網(wǎng)絡(luò)，并基于梯度下降方法優(yōu)化所述神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果與所述人眼樣本圖像的所述標(biāo)注結(jié)果之間的誤差，以訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)。

在一個實施例中，所述神經(jīng)網(wǎng)絡(luò)的訓(xùn)練還包括：對所述人眼樣本圖像進行預(yù)處理，并將經(jīng)預(yù)處理的人眼樣本圖像作為所述模型的輸入。

在一個實施例中，所述對所述人眼樣本圖像進行預(yù)處理包括：使所述每張人眼樣本圖像與模板人眼圖像對齊，所述模板人眼圖像為所述人眼樣本圖像數(shù)據(jù)庫中所有人眼樣本圖像的平均。

在一個實施例中，所述構(gòu)建人眼樣本圖像數(shù)據(jù)庫包括：構(gòu)建三維人頭模型，基于對所述三維人頭模型的隨機處理得到人眼樣本圖像以構(gòu)建所述人眼樣本圖像數(shù)據(jù)庫。

在一個實施例中，所述構(gòu)建三維人頭模型包括：基于人臉圖像通過三維可變形模型獲得三維人頭模型。