[發(fā)明專利]一種基于人眼差分圖像的視線角度估計方法

在審

• 申請?zhí)枺?/td>: 202010124652.1
• 申請日: 2020-02-27
• 公開（公告）號: CN111325736A
• 公開（公告）日: 2020-06-23
• 發(fā)明（設計）人: 顧菘;何龍
• 申請（專利權）人: 成都航空職業(yè)技術學院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/04;G06N3/08
• 代理公司: 成都正華專利代理事務所(普通合伙) 51229
• 代理人: 李蕊

本發(fā)明公開了一種基于人眼差分圖像的視線角度估計方法，將被測試人眼圖像和參考人眼圖像這兩個不同的人眼圖像輸入到孿生神經網絡中，通過網絡回歸得到相應的視線角度的差分值。當參考人眼圖像的視線角度已知時，就可以得到被測試人眼圖像的視線角度。所述方法解決了現(xiàn)有視線角度估計方法中從圖像直接估計視線角度，由于個人的表觀差異會帶來較大的估計誤差的問題；同時解決了針對某一個體進行數(shù)據標定的工作量相當大的問題。本發(fā)明利用孿生神經網絡技術估計兩個圖像中視線角度的差分值，從而得到被測試人眼圖像的視線角度，其角度估計精度高，魯棒性好。

技術領域

本發(fā)明屬于計算機視覺技術領域，具體涉及一種基于人眼差分圖像的視線角度估計方法的設計。

背景技術

視線角度估計是通過圖像處理技術將人眼部的視線角度計算出來，一般分為基于幾何模型和基于表觀模型兩種估計方法。基于幾何模型的估計方法是通過計算眼部的幾何參數(shù)從而得到視線角度；基于表觀模型的估計方法是將此問題看作回歸問題，利用機器學習技術直接從輸入圖像中學習回歸子，從而得到視線角度。由于前者較多的依賴于眼部圖像的分辨率，因此后者成為主流的研究方向。但在目前基于表觀模型的研究中，大多算法都是利用深度神經網絡技術訓練人眼圖像，直接得到視線角度。一方面，由于網絡訓練與測試時所用到的人眼圖像往往是不同的主體，所以個人表觀特征的差異往往使得這種利用圖像直接得到視線角度的方法存在較大的誤差。雖然這種方法的平均誤差可能較小，但針對某一個體時，通常存在較為固定的估計誤差，影響了整個系統(tǒng)的估計精度。另一方面，如果針對某一個體進行網絡學習時需要大量的數(shù)據標定工作，使得系統(tǒng)的應用范圍受到極大的限制。

孿生網絡技術的特征是其輸入為兩路，利用此兩路輸入，可以得到所對應輸入的差分特征值。雖然網絡訓練集與測試集的數(shù)據來源不同，但在對訓練好的網絡進行測試時，網絡輸入可以選擇相同主體的人眼圖像分別作為參考圖像和被測試圖像。由于參考圖像的視線角度可以提前標定，那么系統(tǒng)最終得到的被測試圖像的視線角度即為參考圖像視線角度與孿生網絡輸出的和。這樣避免了由于個體原因帶來的誤差，提高了估計精度；并且，由于只需要選擇幾個有限的參考圖像進行標定，這樣大大減少了針對某一個體進行標定的工作量。

發(fā)明內容

本發(fā)明的目的是針對現(xiàn)有技術中的上述不足，提出了一種基于人眼差分圖像的視線角度估計方法，解決現(xiàn)有人眼視線角度估計結果不精確，標定工作量大的問題。

本發(fā)明的技術方案為：一種基于人眼差分圖像的視線角度估計方法，包括以下步驟：

S1、向孿生神經網絡的兩個輸入端分別輸入被測試人眼圖像和參考人眼圖像。

S2、在孿生神經網絡中將被測試人眼圖像和參考人眼圖像分別依次經過VGG16網絡、第一全連接層以及ReLU激活函數(shù)，得到第一特征向量和第二特征向量。

S3、將第一特征向量和第二特征向量拼接為第三特征向量。

S4、將第三特征向量依次經過第二全連接層和ReLU激活函數(shù)，得到第四特征向量。

S5、將第四特征向量經過第三全連接層，在孿生神經網絡的輸出端得到被測試人眼圖像和參考人眼圖像對應的視線角度差分值G_d。

S6、對參考人眼圖像進行標定，得到參考人眼圖像的視線角度向量G_f。

S7、根據參考人眼圖像的視線角度向量G_f以及視線角度差分值G_d，得到被測試人眼圖像的視線角度向量G_t。

本發(fā)明的有益效果是：本發(fā)明通過兩個不同的人眼圖像得到所對應視線角度的差分值，并通過標定的參考人眼圖像所對應的視線角度得到被測試圖像的視線角度，這種方法避免了網絡訓練集與測試集中由于主體個體差異帶來的估計誤差，并且大大減少了針對某一個體進行數(shù)據標定的工作量，提高了系統(tǒng)的可操作性，其角度估計精度高，魯棒性好。