[發明專利]一種基于雙目攝像頭的視線測量方法和裝置

有效

• 申請號: 202210007556.8
• 申請日: 2022-01-06
• 公開（公告）號: CN114022946B
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 郭錫;劉國清;王啟程;楊廣;徐涵;全丹輝
• 申請（專利權）人: 深圳佑駕創新科技有限公司
• 主分類號: G06V40/18
• 分類號: G06V40/18;G06T7/70
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 顏希文

1.一種基于雙目攝像頭的視線測量方法，其特征在于，包括：

通過第一攝像頭拍攝第一照片，通過第二攝像頭拍攝第二照片；所述第一照片和所述第二照片中均包括受試者的人臉和標定板；其中，所述雙目攝像頭為所述第一攝像頭和所述第二攝像頭；

檢測所述第一照片中第一人臉和所述第二照片中第二人臉，根據所述第一人臉和所述第二人臉，獲得所述第一人臉的第一瞳孔的第一信息和所述第二人臉的第二瞳孔的第二信息；

通過第三攝像頭拍攝所述標定板，獲取所述標定板相對于所述第三攝像頭的旋轉矩陣和平移向量，得到觀測點在所述標定板的坐標系中的第三坐標；

根據所述第三坐標，結合所述第一信息和所述第二信息，獲得視線的向量；

所述通過第三攝像頭拍攝所述標定板，獲取所述標定板相對于所述第三攝像頭的旋轉矩陣和平移向量，具體為：

通過第三攝像頭拍攝所述標定板，識別所述標定板中的阿魯科標記；根據所述阿魯科標記，得到所述標定板的坐標系原點相對于所述第三攝像頭的坐標系原點的旋轉矩陣和平移向量；其中，所述阿魯科標記包括黑色正方形邊框和內部二進制編碼；所述內部二進制編碼用于驗證與所述阿魯科標記對應的標識；

所述根據所述第一人臉和所述第二人臉，獲得所述第一人臉的第一瞳孔的第一信息和所述第二人臉的第二瞳孔的第二信息，具體為：

根據所述第一人臉和所述第二人臉，獲得所述第一瞳孔在所述第一人臉中的第一像素坐標和第一向量，并獲得所述第二瞳孔在所述第二人臉中的第二像素坐標和第二向量；其中，所述第一向量為所述第一攝像頭的坐標系內所述第一攝像頭與所述第一瞳孔相對位置向量；所述第二向量為所述第二攝像頭的坐標系內所述第二攝像頭與所述第二瞳孔相對位置向量；

所述根據所述第三坐標，結合所述第一信息和所述第二信息，獲得視線的向量,具體為：

根據第一像素坐標和第一向量，獲得第一瞳孔在所述標定板的坐標系中的第一瞳孔坐標；

根據第二像素坐標和第二向量，獲得第二瞳孔在所述標定板的坐標系中的第二瞳孔坐標；

根據所述第三坐標，結合所述第一瞳孔坐標和所述第二瞳孔坐標的中值，獲得視線的向量。

2.如權利要求1所述的一種基于雙目攝像頭的視線測量方法，其特征在于，所述根據所述第一人臉和所述第二人臉，獲得所述第一瞳孔在所述第一人臉中的第一像素坐標和第一向量，并獲得所述第二瞳孔在所述第二人臉中的第二像素坐標和第二向量，具體為：

根據所述第一人臉，通過機器學習提取所述第一人臉中的所有的第一特征點，計算獲得所述第一瞳孔在所述第一人臉中的第一像素坐標和第一向量；其中，所述第一特征點包括所述第一瞳孔；

根據所述第二人臉，通過機器學習提取所述第二人臉中的所有的第二特征點，計算獲得所述第二瞳孔在所述第二人臉中的第二像素坐標和第二向量；其中，所述第二特征點包括所述第二瞳孔。