[發明專利]一種基于人眼差分圖像的視線角度估計方法

在審

• 申請號: 202010124652.1
• 申請日: 2020-02-27
• 公開（公告）號: CN111325736A
• 公開（公告）日: 2020-06-23
• 發明（設計）人: 顧菘;何龍
• 申請（專利權）人: 成都航空職業技術學院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/04;G06N3/08
• 代理公司: 成都正華專利代理事務所(普通合伙) 51229
• 代理人: 李蕊

1.一種基于人眼差分圖像的視線角度估計方法，其特征在于，包括以下步驟：

S1、向孿生神經網絡的兩個輸入端分別輸入被測試人眼圖像和參考人眼圖像；

S2、在孿生神經網絡中將被測試人眼圖像和參考人眼圖像分別依次經過VGG16網絡、第一全連接層以及ReLU激活函數，得到第一特征向量和第二特征向量；

S3、將第一特征向量和第二特征向量拼接為第三特征向量；

S4、將第三特征向量依次經過第二全連接層和ReLU激活函數，得到第四特征向量；

S5、將第四特征向量經過第三全連接層，在孿生神經網絡的輸出端得到被測試人眼圖像和參考人眼圖像對應的視線角度差分值G_d；

S6、對參考人眼圖像進行標定，得到參考人眼圖像的視線角度向量G_f；

S7、根據參考人眼圖像的視線角度向量G_f以及視線角度差分值G_d，得到被測試人眼圖像的視線角度向量G_t。

2.根據權利要求1所述的視線角度估計方法，其特征在于，所述步驟S1中被測試人眼圖像和參考人眼圖像均為左眼圖像或均為右眼圖像。

3.根據權利要求1所述的視線角度估計方法，其特征在于，所述步驟S1中被測試人眼圖像和參考人眼圖像均為圖像大小為36行，60列的彩色圖像。

4.根據權利要求1所述的視線角度估計方法，其特征在于，所述步驟S2中第一全連接層的輸入參數長度為512，輸出參數長度為512。

5.根據權利要求1所述的視線角度估計方法，其特征在于，所述步驟S4中第二全連接層的輸入參數長度為1024，輸出參數長度為256。

6.根據權利要求1所述的視線角度估計方法，其特征在于，所述步驟S5中第三全連接層的輸入參數長度為256，輸出參數長度為3。

7.根據權利要求1所述的視線角度估計方法，其特征在于，所述步驟S7中被測試人眼圖像的視線角度向量G_t的計算公式為：G_t＝G_f+G_d。

8.根據權利要求1所述的視線角度估計方法，其特征在于，所述視線角度差分值G_d、參考人眼圖像的視線角度向量G_f和被測試人眼圖像的視線角度向量G_t均為采用歐拉角表示的長度為3的向量。

9.根據權利要求1所述的視線角度估計方法，其特征在于，對所述孿生神經網絡進行網絡參數學習時，損失函數采用視線角度差分值G_d與標注的視線角度差值的L2范數。

10.根據權利要求9所述的視線角度估計方法，其特征在于，對所述孿生神經網絡進行網絡參數學習時，采用標注好的MPIIFaceGaze數據集對孿生神經網絡進行網絡參數學習。