[發明專利]對用于三維(3D)注視預測的神經網絡的訓練

在審

• 申請號: 201910257948.8
• 申請日: 2019-04-01
• 公開（公告）號: CN110320998A
• 公開（公告）日: 2019-10-11
• 發明（設計）人: 埃里克·林登
• 申請（專利權）人: 托比股份公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06N3/08
• 代理公司: 上海脫穎律師事務所 31259
• 代理人: 脫穎

1.一種非暫時性計算機可讀存儲介質，其存儲指令，一旦在計算機系統上執行，所述指令使得所述計算機系統執行操作，所述操作包括：

訪問訓練圖像，所述訓練圖像包括第一組訓練圖像和第二組訓練圖像，其中，所述第一組訓練圖像示出與相機的平面中的注視點相關聯的用戶眼睛，并且其中，所述第二組訓練圖像示出與所述相機的所述平面之外的注視點相關聯的用戶眼睛；以及

基于所述訓練圖像訓練神經網絡，其中，所述訓練包括：

將第一訓練圖像輸入神經網絡，其中，所述第一訓練圖像屬于所述第一組訓練圖像；

將第二訓練圖像輸入所述神經網絡，其中，所述第二訓練圖像屬于所述第二組訓練圖像；

基于注視點和注視線之間的距離而最小化所述神經網絡的損失函數，其中，所述注視點與所述第一訓練圖像或所述第二訓練圖像中的一者相關聯，并且其中，所述注視線是由所述神經網絡針對在所述第一訓練圖像或所述第二訓練圖像中的所述一者中示出的用戶眼睛預測的。

2.根據權利要求1所述的非暫時性計算機可讀存儲介質，其中，一旦完成訓練，所述神經網絡基于以用戶眼睛為中心的扭曲圖像預測：(i)距離校正，(ii)所述用戶眼睛的2D注視原點，以及(iii)所述用戶眼睛的2D注視方向。

3.根據權利要求1所述的非暫時性計算機可讀存儲介質，其中，所述第一訓練圖像示出根據注視角注視所述注視點時的所述用戶眼睛，其中，所述第二訓練圖像示出根據所述注視角注視另一注視點時的所述用戶眼睛。

4.根據權利要求1所述的非暫時性計算機可讀存儲介質，其中，所述第一訓練圖像和所述第二訓練圖像示出以注視角注視所述注視點時的所述用戶眼睛，其中，所述第一訓練圖像對應于所述相機和所述用戶眼睛之間的第一距離，并且其中，所述第二訓練圖像對應于所述相機和所述用戶眼睛之間的第二距離。

5.根據權利要求1所述的非暫時性計算機可讀存儲介質，其中，所述第一訓練圖像示出根據注視角注視所述注視點時的所述用戶眼睛，其中，所述第二訓練圖像示出根據不同的注視角注視另一注視點時的所述用戶眼睛。

6.根據權利要求1所述的非暫時性計算機可讀存儲介質，其中，訓練所述神經網絡進一步包括：

在訓練所述神經網絡期間，基于校準參數來更新所述神經網絡的參數。

7.根據權利要求6所述的非暫時性計算機可讀存儲介質，其中，一旦完成訓練，將所述校準參數的更新值輸入到所述神經網絡。

8.一種計算機系統，其包括：

處理器；以及

存儲器，所述存儲器存儲計算機可讀指令，一旦由所述處理器執行，所述計算機可讀指令將所述計算機系統配置為執行操作，所述操作包括：

訪問訓練圖像，所述訓練圖像包括第一組訓練圖像和第二組訓練圖像，其中，所述第一組訓練圖像示出與相機的平面中的注視點相關聯的用戶眼睛，并且其中，所述第二組訓練圖像示出與所述相機的所述平面之外的注視點相關聯的用戶眼睛；以及

基于所述訓練圖像訓練神經網絡，其中，所述訓練包括：

將第一訓練圖像輸入神經網絡，其中，所述第一訓練圖像屬于所述第一組訓練圖像；

將第二訓練圖像輸入所述神經網絡，其中，所述第二訓練圖像屬于所述第二組訓練圖像；

基于注視點和注視線之間的距離而最小化所述神經網絡的損失函數，其中，所述注視點與所述第一訓練圖像或所述第二訓練圖像中的一者相關聯，并且其中，所述注視線是由所述神經網絡針對在所述第一訓練圖像或所述第二訓練圖像中的所述一者中示出的用戶眼睛預測的。

9.根據權利要求8所述的計算機系統，其中，一旦完成訓練，所述神經網絡基于以用戶眼睛為中心的扭曲圖像預測：(i)距離校正，(ii)所述用戶眼睛的2D注視原點，以及(iii)所述用戶眼睛的2D注視方向。