[發明專利]視線追蹤方法、裝置、設備、存儲介質以及計算機程序產品

在審

• 申請號: 202110709957.3
• 申請日: 2021-06-25
• 公開（公告）號: CN113420678A
• 公開（公告）日: 2021-09-21
• 發明（設計）人: 鄧蘇南
• 申請（專利權）人: 阿波羅智聯（北京）科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06F3/01
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種視線追蹤方法，包括：

獲取第一圖像，其中，所述第一圖像為駕駛人員的眼球狀態圖像；

基于預先訓練的視線標定模型，確定世界坐標系中與所述第一圖像對應的注視區域。

2.根據權利要求1所述的方法，其中，所述基于預先訓練的視線標定模型，確定世界坐標系中與所述第一圖像對應的注視區域，包括：

將所述第一圖像輸入至預先訓練的視線標定模型中，得到所述第一圖像對應的視線方向；

確定世界坐標系中與所述視線方向對應的注視區域。

3.根據權利要求1-2中任一項所述的方法，所述方法還包括：

獲取第二圖像，其中，所述第二圖像為所述駕駛人員乘坐車輛的周圍環境圖像；

基于世界坐標系與所述第二圖像對應的圖像坐標系之間的對應關系，確定所述第二圖像中與所述第一目標區域對應的第二目標區域。

4.根據權利要求3所述的方法，所述方法還包括：

確定所述第二目標區域中的興趣點POI對象；

基于所述圖像坐標系與抬頭顯示畫面對應的顯示坐標系之間的對應關系，確定所述POI對象在所述抬頭顯示畫面中的目標顯示位置。

5.根據權利要求4所述的方法，其中，在所述確定所述第二目標區域中的興趣點POI對象之后，所述方法還包括：

獲取所述車輛的當前位置信息；

基于所述當前位置信息獲取所述POI對象的屬性信息；

將所述屬性信息疊加顯示在所述抬頭顯示畫面中的所述POI對象上。

6.一種模型訓練方法，包括：

獲取訓練樣本集，其中，所述訓練樣本集中的訓練樣本包括駕駛人員注視標注點時的眼球圖像以及所述標注點的位置信息；

將所述眼球圖像作為輸入，將所述位置信息作為輸出，訓練得到視線標定模型。

7.一種視線追蹤裝置，包括：

第一獲取模塊，被配置成獲取第一圖像，其中，所述第一圖像為駕駛人員的眼球狀態圖像；

第一確定模塊，被配置成基于預先訓練的視線標定模型，確定世界坐標系中與所述第一圖像對應的注視區域。

8.根據權利要求7所述的裝置，其中，所述第一確定模塊包括：

輸入子模塊，被配置成將所述第一圖像輸入至預先訓練的視線標定模型中，得到所述第一圖像對應的視線方向；

確定子模塊，被配置成確定世界坐標系中與所述視線方向對應的注視區域。

9.根據權利要求7-8中任一項所述的裝置，所述裝置還包括：

第二獲取模塊，被配置成獲取第二圖像，其中，所述第二圖像為所述駕駛人員乘坐車輛的周圍環境圖像；

第二確定模塊，被配置成基于所述世界坐標系與所述第二圖像對應的圖像坐標系之間的對應關系，確定所述第二圖像中與所述第一目標區域對應的第二目標區域。

10.根據權利要求9所述的裝置，所述裝置還包括：

第三確定模塊，被配置成確定所述第二目標區域中的興趣點POI對象；

第四確定模塊，被配置成基于所述圖像坐標系與抬頭顯示畫面對應的顯示坐標系之間的對應關系，確定所述POI對象在所述抬頭顯示畫面中的目標顯示位置。

11.根據權利要求10所述的裝置，所述裝置還包括：

第三獲取模塊，被配置成獲取所述車輛的當前位置信息；

第四獲取模塊，被配置成基于所述當前位置信息獲取所述POI對象的屬性信息；

顯示模塊，被配置成將所述屬性信息疊加顯示在所述抬頭顯示畫面中的所述POI對象上。