[發明專利]一種人眼視線檢測方法、裝置及電子設備

在審

• 申請號: 202310215350.9
• 申請日: 2023-03-01
• 公開（公告）號: CN116309412A
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 冉成榮;霍百林
• 申請（專利權）人: 合眾新能源汽車股份有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/70;G06V40/16;G06V40/20
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 于丹

本申請涉及一種人眼視線檢測方法、裝置及電子設備，該方法包括：通過第二圖像采集設備獲取包含投影儀投射的目標觀測點的圖像；根據第一標定結果和第二標定結果，得到目標觀測點在第一圖像采集設備下的第一目標觀測點三維坐標；對第一圖像采集設備采集到的觀測人的人臉圖像進行人臉檢測，得到在第一圖像采集設備下的人臉圖像對應的眼點三維坐標；基于第一目標觀測點三維坐標以及眼點三維坐標，計算出觀測人的人眼視線向量及夾角。基于上述方法，可以實現人眼視線的檢測以及人眼視線檢測的精度評價，解決目前人眼視線檢測系統拓展性成本高，操作不方便的問題，節約了資源，且有效提高了人眼視線檢測的精確度。

技術領域

本申請涉及計算機視覺技術領域，尤其涉及一種人眼視線檢測方法、裝置及電子設備。

背景技術

人眼視線檢測是計算機視覺領域的重要問題，在智能駕駛、智能家居等場景中有豐富的應用。例如，在判斷車輛的駕駛員是否分心，是否需要點亮中控屏幕來實現駕駛員與車機的交互時，可以根據駕駛員的面部圖像檢測其視線落點，從而進行安全檢測和車內智能控制。

現有計算人眼視線的方法采用在固定多塊屏幕上顯示特定圓形，在屏幕端通過多相機系統來采集人眼注視特定圓形的注視圖片，從而根據注視圖片的信息來計算人眼視線。該方法如需拓展注視區域需要更多的屏幕，拓展性成本高，且實驗時，移動設備不方便。

發明內容

本申請的目的在于提供一種人眼視線檢測方法、裝置及電子設備，以實現人眼視線的檢測以及人眼視線檢測的精度評價，解決目前人眼視線檢測系統拓展性成本高，操作不方便的問題，且有效提高了人眼視線檢測的精確度，節約了資源。

第一方面，本申請提供了一種人眼視線檢測方法，所述方法包括：

通過所述第二圖像采集設備獲取包含所述投影儀投射的目標觀測點的圖像；

根據第一標定結果和第二標定結果，得到所述目標觀測點在所述第一圖像采集設備下的第一目標觀測點三維坐標，其中，所述第一標定結果為所述投影儀和所述第二圖像采集設備之間的坐標系轉換關系，所述第二標定結果為所述第一圖像采集設備和所述投射設備之間的坐標系轉換關系；

對所述第一圖像采集設備采集到的觀測人的人臉圖像進行人臉檢測，得到在所述第一圖像采集設備下的所述人臉圖像對應的眼點三維坐標；

基于所述第一目標觀測點三維坐標以及所述眼點三維坐標，計算出所述觀測人的人眼視線向量及夾角。

上述通過投射設備標定以及第一圖像采集設備和投射設備標定，得到精度較高的第一標定結果和第二標定結果，根據第一標定結果和第二標定結果得到的第一目標觀測點三維坐標的精確度較高，從而使得后續根據第一目標觀測點三維坐標和眼點三維坐標計算出的人眼視線向量和角度精準度更高，提高了人眼視線檢測的準確性。

在一種可能的設計中，在所述通過所述第二圖像采集設備獲取包含所述投影儀投射的目標觀測點的圖像之前，還包括：對所述投射設備進行標定，得到所述第一標定結果；對所述第一圖像采集設備和所述投射設備進行標定，得到所述第二標定結果。

通過投射設備標定工作以及第一圖像采集設備和投射設備的標定工作，可以得到精度較高的第一標定結果和第二標定結果，從而使得后續對人眼視線的檢測更準確。

在一種可能的設計中，所述根據第一標定結果和第二標定結果，得到所述目標觀測點在所述第一圖像采集設備下的第一目標觀測點三維坐標，包括：根據所述第一標定結果，將所述目標觀測點在所述投影儀下的二維坐標轉換為在所述第二圖像采集設備下的第一三維坐標；根據所述第二標定結果，將所述第一三維坐標轉換為在所述第一圖像采集設備下的第二三維坐標，將所述第二三維坐標作為所述第一目標觀測點三維坐標。

根據第一標定結果和第二標定結果得到的第一目標觀測點三維坐標的精確度較高，從而使得后續根據第一目標觀測點三維坐標和眼點三維坐標計算出的人眼視線向量和角度精準度更高，提高了人眼視線檢測的準確性。