[發(fā)明專利]一種基于雙目攝像頭的視線測(cè)量方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202210007556.8
• 申請(qǐng)日: 2022-01-06
• 公開（公告）號(hào): CN114022946B
• 公開（公告）日: 2022-05-03
• 發(fā)明（設(shè)計(jì)）人: 郭錫;劉國清;王啟程;楊廣;徐涵;全丹輝
• 申請(qǐng)（專利權(quán)）人: 深圳佑駕創(chuàng)新科技有限公司
• 主分類號(hào): G06V40/18
• 分類號(hào): G06V40/18;G06T7/70
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 顏希文

本發(fā)明提供了一種基于雙目攝像頭的視線測(cè)量方法和裝置，所述方法包括：通過雙目攝像頭拍攝第一照片和第二照片；照片均包括觀測(cè)點(diǎn)和標(biāo)定板；檢測(cè)第一照片中第一人臉和第二照片中第二人臉，根據(jù)第一人臉和第二人臉，獲得瞳孔信息；通過第三攝像頭得到觀測(cè)點(diǎn)標(biāo)定板坐標(biāo)系中的第三坐標(biāo)；根據(jù)第三坐標(biāo)，結(jié)合第一信息和第二信息，獲得視線的向量。本發(fā)明相對(duì)于現(xiàn)有技術(shù)，基于雙目攝像頭獲取瞳孔在標(biāo)定板坐標(biāo)系中的坐標(biāo)，結(jié)合觀測(cè)點(diǎn)的坐標(biāo)，實(shí)現(xiàn)了實(shí)時(shí)地對(duì)多種姿態(tài)視線進(jìn)行測(cè)量，同時(shí)能實(shí)時(shí)地跟蹤到受試者的瞳孔移動(dòng)，對(duì)場(chǎng)景的布置較為簡單，節(jié)約了大量的布置成本。

技術(shù)領(lǐng)域

本發(fā)明涉及視線追蹤領(lǐng)域，尤其涉及一種基于雙目攝像頭的視線測(cè)量方法和裝置。

背景技術(shù)

目前視線追蹤技術(shù)主要利用電子、光學(xué)、機(jī)械以及計(jì)算機(jī)算法等方法以獲取受試者的當(dāng)前觀察方向。視線追蹤技術(shù)被廣泛應(yīng)用于虛擬現(xiàn)實(shí)，疲勞檢測(cè)、人機(jī)交互等多個(gè)領(lǐng)域。現(xiàn)有技術(shù)主要通過機(jī)器學(xué)習(xí)算法進(jìn)行視線追蹤，但是現(xiàn)有技術(shù)普遍需要收集大量的視線數(shù)據(jù)并且前提是測(cè)量過程中受試者不能移動(dòng)，因此局限性大，場(chǎng)景的布置也極為繁瑣。

發(fā)明內(nèi)容

本發(fā)明提供了一種基于雙目攝像頭的視線測(cè)量方法和裝置，以解決獲取受試者視線觀察方向的同時(shí)能追蹤受試者的技術(shù)問題。

為了解決上述技術(shù)問題，本發(fā)明實(shí)施例提供了一種基于雙目攝像頭的視線測(cè)量方法，包括：

通過第一攝像頭拍攝第一照片，通過第二攝像頭拍攝第二照片；所述第一照片和所述第二照片中均包括受試者的人臉和標(biāo)定板；其中，所述雙目攝像頭為所述第一攝像頭和所述第二攝像頭；

檢測(cè)所述第一照片中第一人臉和所述第二照片中第二人臉，根據(jù)所述第一人臉和所述第二人臉，獲得所述第一人臉的第一瞳孔的第一信息和所述第二人臉的第二瞳孔的第二信息；

通過第三攝像頭拍攝所述標(biāo)定板，獲取所述標(biāo)定板相對(duì)于所述第三攝像頭的旋轉(zhuǎn)矩陣和平移向量，得到所述觀測(cè)點(diǎn)在所述標(biāo)定板的坐標(biāo)系中的第三坐標(biāo)；

根據(jù)所述第三坐標(biāo)，結(jié)合所述第一信息和所述第二信息，獲得視線的向量；

所述通過第三攝像頭拍攝所述標(biāo)定板，獲取所述標(biāo)定板相對(duì)于所述第三攝像頭的旋轉(zhuǎn)矩陣和平移向量，具體為：

通過第三攝像頭拍攝所述標(biāo)定板，識(shí)別所述標(biāo)定板中的阿魯科標(biāo)記；根據(jù)所述阿魯科標(biāo)記，得到所述標(biāo)定板的坐標(biāo)系原點(diǎn)相對(duì)于所述第三攝像頭的坐標(biāo)系原點(diǎn)的旋轉(zhuǎn)矩陣和平移向量；其中，所述阿魯科標(biāo)記包括黑色正方形邊框和內(nèi)部二進(jìn)制編碼；所述內(nèi)部二進(jìn)制編碼用于驗(yàn)證與所述阿魯科標(biāo)記對(duì)應(yīng)的標(biāo)識(shí)；

所述根據(jù)所述第一人臉和所述第二人臉，獲得所述第一人臉的第一瞳孔的第一信息和所述第二人臉的第二瞳孔的第二信息，具體為：

根據(jù)所述第一人臉和所述第二人臉，獲得所述第一瞳孔在所述第一人臉中的第一像素坐標(biāo)和第一向量，并獲得所述第二瞳孔在所述第二人臉中的第二像素坐標(biāo)和第二向量；其中，所述第一向量為所述第一攝像頭的坐標(biāo)系內(nèi)所述第一攝像頭與所述第一瞳孔相對(duì)位置向量；所述第二向量為所述第二攝像頭的坐標(biāo)系內(nèi)所述第二攝像頭與所述第二瞳孔相對(duì)位置向量。

所述根據(jù)所述第三坐標(biāo)，結(jié)合所述第一信息和所述第二信息，獲得視線的向量,具體為：

根據(jù)第一像素坐標(biāo)和第一向量，獲得第一瞳孔在所述標(biāo)定板的坐標(biāo)系中的第一瞳孔坐標(biāo)；

根據(jù)第二像素坐標(biāo)和第二向量，獲得第二瞳孔在所述標(biāo)定板的坐標(biāo)系中的第二瞳孔坐標(biāo)；

根據(jù)所述第三坐標(biāo)，結(jié)合所述第一瞳孔坐標(biāo)和所述第二瞳孔坐標(biāo)的中值，獲得視線的向量。

作為優(yōu)選方案，所述根據(jù)所述第一人臉和所述第二人臉，獲得所述第一瞳孔在所述第一人臉中的第一像素坐標(biāo)和第一向量，并獲得所述第二瞳孔在所述第二人臉中的第二像素坐標(biāo)和第二向量，具體為：