[發明專利]一種視線跟蹤方法及用于執行所述方法的終端

在審

• 申請號: 201980001858.0
• 申請日: 2019-03-08
• 公開（公告）號: CN110546596A
• 公開（公告）日: 2019-12-06
• 發明（設計）人: 石胤贊;李泰喜
• 申請（專利權）人: 視信有限責任公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/00;G06K9/00;G06N20/00
• 代理公司: 51258 成都超凡明遠知識產權代理有限公司
• 代理人: 金相允;梁香美<國際申請>=PCT/KR

1.一種用于基于累積與視線信息相關的多個學習數據的第一視線跟蹤模型來跟蹤視線的終端，其中，包括：

數據收集單元，用于使用拍攝設備獲取用戶的面部圖像，并從所述面部圖像中提取所述用戶的視線信息；

數據傳輸單元，用于將所述用戶的視線信息和所述終端屏幕中所述用戶的視線指向的地點的位置信息傳輸給服務器；

模型接收單元，用于從所述服務器接收在所述第一視線跟蹤模型中學習了所述用戶的視線信息和所述位置信息的第二視線跟蹤模型；以及

視線跟蹤單元，用于使用所述第二視線跟蹤模型來跟蹤所述用戶的視線。

2.如權利要求1所述的終端，其中，

所述第二視線跟蹤模型通過以下方式來生成：分別對所述累積的學習數據與所述用戶的視線信息及所述位置信息分配預設的彼此不同的權重并進行學習，并將所述分配權重的學習數據與所述用戶的視線信息及所述位置信息輸入到第一視線跟蹤模型。

3.如權利要求1所述的終端，其中，

所述第二視線跟蹤模型基于每個用戶而不同。

4.如權利要求1所述的終端，其中，

應用所述用戶的視線信息和所述位置信息的所述第一視線跟蹤模型或所述第二視線跟蹤模型從所述服務器分發到另一終端。

5.如權利要求1所述的終端，其中，

當所述用戶凝視設置在所述終端屏幕中的多個地點時，所述數據收集單元從在凝視各個地點時拍攝的所述用戶的各個面部圖像中提取所述用戶的視線信息，

所述數據傳輸單元將所述用戶的視線信息和所述各個地點的位置信息傳輸給所述服務器。

6.如權利要求5所述的終端，其中，

當從凝視所述屏幕中所述地點的用戶接收設定動作的輸入時，所述數據收集單元判斷接收所述動作輸入的時間點作為所述用戶凝視所述地點的時間點。

7.如權利要求6所述的終端，其中，

接收所述動作輸入的時間點包括所述用戶觸摸所述地點的時間點、和所述用戶隨著在所述地點處顯示設定的短語而發出語音時所述語音開始發出的時間點中的至少一個。

8.一種由用于基于累積與視線信息相關的多個學習數據的第一視線跟蹤模型來跟蹤視線的終端執行的視線跟蹤方法，其中，包括：

使用拍攝設備獲取用戶的面部圖像；

從所述面部圖像中提取所述用戶的視線信息；

將所述用戶的視線信息和所述終端屏幕中所述用戶的視線指向的地點的位置信息傳輸給服務器；

從所述服務器接收在所述第一視線跟蹤模型中學習了所述用戶的視線信息和所述位置信息的第二視線跟蹤模型；以及

使用所述第二視線跟蹤模型來跟蹤所述用戶的視線。

9.如權利要求8所述的視線跟蹤方法，其中，

所述第二視線跟蹤模型通過以下方式來生成：分別對所述累積的學習數據與所述用戶的視線信息及所述位置信息賦予預設的彼此不同的權重并進行學習，并將所述賦予權重的學習數據與所述用戶的視線信息及所述位置信息輸入到第一視線跟蹤模型。

10.如權利要求8所述的視線跟蹤方法，其中，所述第二視線跟蹤模型基于每個用戶而不同。

11.如權利要求8所述的視線跟蹤方法，其中，

應用所述用戶的視線信息和所述位置信息的所述第一視線跟蹤模型或所述第二視線跟蹤模型從所述服務器分發到另一終端。

12.如權利要求8所述的視線跟蹤方法，其中，

在所述提取的步驟中，當所述用戶凝視設置在所述終端屏幕中的多個地點時，從在凝視各個地點時拍攝的所述用戶的各個面部圖像中提取所述用戶的視線信息，

在所述傳輸的步驟中，將所述用戶的視線信息和所述各個地點的位置信息傳輸給所述服務器。