[發明專利]確定用戶注視位置的方法、裝置、存儲介質和電子設備

在審

• 申請號: 202010622072.5
• 申請日: 2020-06-30
• 公開（公告）號: CN111881763A
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 何力
• 申請（專利權）人: 北京小米移動軟件有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 賀曉蕾

1.一種確定用戶注視位置的方法，其特征在于，應用于終端，所述終端包含顯示屏，所述方法包括：

獲取目標用戶相對于所述顯示屏的目標距離；并

獲取所述目標用戶的用戶圖像，所述用戶圖像包括：全局圖像、頭部圖像和眼部圖像，所述全局圖像為所述顯示屏前的目標空間的圖像；

根據所述目標距離和所述全局圖像，從所述目標空間內預先設定的多個子空間中確定所述目標用戶的眼部所處的第一空間；

根據預先確定的子空間、用戶圖像，與所述顯示屏上的屏幕坐標之間的對應關系，確定與所述第一空間及所述目標用戶的用戶圖像對應的所述目標用戶在所述顯示屏上的注視位置。

2.根據權利要求1所述的方法，其特征在于，所述根據預先確定的子空間、用戶圖像，與所述顯示屏上的屏幕坐標之間的對應關系，確定與所述第一空間及所述目標用戶的用戶圖像對應的所述目標用戶在所述顯示屏上的注視位置，包括：

根據預先確定的子空間、用戶圖像，與所述顯示屏上的屏幕坐標之間的對應關系，確定與所述第一空間及所述目標用戶的用戶圖像對應的所述顯示屏的屏幕坐標；其中，預先根據所述顯示屏的尺寸將所述顯示屏劃分成多個子區域，將每個子區域中的預設位置的坐標作為該子區域的屏幕坐標；

將確定的屏幕坐標確定為所述目標用戶在所述顯示屏上的注視位置。

3.根據權利要求2所述的方法，其特征在于，所述根據預先確定的子空間、用戶圖像，與所述顯示屏上的屏幕坐標之間的對應關系，確定與所述第一空間及所述目標用戶的用戶圖像對應的所述顯示屏的屏幕坐標，包括：

確定所述第一空間對應的完成訓練的坐標預測模型；其中，為每個子空間訓練有坐標預測模型，且所述坐標預測模型基于用戶圖像、用戶注視位置在所述顯示屏上的屏幕坐標完成訓練；

將所述目標用戶的用戶圖像輸入所述坐標預測模型，得到所述目標用戶的用戶圖像對應的所述顯示屏的屏幕坐標。

4.根據權利要求1所述的方法，其特征在于，采用以下方法對所述坐標預測模型進行訓練：

針對每個子空間，構建初始坐標預測模型；

獲取針對該子空間的已標注訓練數據集；

其中，所述訓練數據集包括多組訓練數據，每組訓練數據包括：測試用戶的用戶圖像樣本以及所述用戶圖像樣本對應的屏幕坐標標簽，并使用屏幕坐標標簽對訓練數據進行標注；針對任一子空間采集用戶圖像樣本時，測試用戶的眼部均處于該任一子空間；所述屏幕坐標標簽表征采集用戶圖像樣本時，測試用戶在所述顯示屏上的注視位置對應的屏幕坐標，所述用戶圖像樣本包括：全局圖像樣本、頭部圖像樣本和眼部圖像樣本；

將所述已標準訓練數據集輸入所述初始坐標預測模型；

將得到的預測結果與標注值進行比對，根據比對結果對初始坐標預測模型進行參數調整，直到模型收斂得到完成訓練的坐標預測模型。

5.根據權利要求1所述的方法，其特征在于，采用以下方法對所述多個子空間進行設定：

根據圖像獲取裝置的拍攝角度范圍和有效拍攝距離將所述目標空間劃分成多個子空間。

6.根據權利要求5所述的方法，其特征在于，采用以下方法對所述多個子空間進行設定：

使用第一預設角度間隔將圖像獲取裝置的水平拍攝角度范圍進行水平方向的劃分，得到多個水平方向的第一子空間；

使用第二預設角度間隔將圖像獲取裝置的垂直拍攝角度范圍進行垂直方向的劃分，得到多個豎直方向的第二子空間；

使用預設距離間隔將圖像獲取裝置的有效拍攝距離劃分為遠近方向的第三子空間；

將所述第一子空間、第二子空間、第三子空間交叉間隔得到的子空間確定為將所述目標空間劃分的子空間。