[發(fā)明專利]監(jiān)測(cè)人眼注視時(shí)間的方法和裝置、存儲(chǔ)介質(zhì)、電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201810910081.7
• 申請(qǐng)日: 2018-08-10
• 公開(kāi)（公告）號(hào): CN110826374B
• 公開(kāi)（公告）日: 2023-07-14
• 發(fā)明（設(shè)計(jì)）人: 劉耀勇;陳巖
• 申請(qǐng)（專利權(quán)）人: OPPO廣東移動(dòng)通信有限公司
• 主分類號(hào): G06V40/19
• 分類號(hào): G06V40/19;G06V40/16
• 代理公司: 華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 方高明

1.一種監(jiān)測(cè)人眼注視時(shí)間的方法，其特征在于，所述方法包括：

通過(guò)電子設(shè)備的前置攝像頭按照預(yù)設(shè)頻率采集3D人臉圖像；

對(duì)所述3D人臉圖像對(duì)應(yīng)的3D點(diǎn)云數(shù)據(jù)進(jìn)行三維重建得到人眼的位置信息；根據(jù)所述人眼的位置信息從所述3D人臉圖像中獲取3D人眼圖像；調(diào)用3D人臉識(shí)別模型對(duì)所述3D人眼圖像中的眼球信息、焦點(diǎn)信息進(jìn)行分析，判斷出所述3D人臉圖像中的人眼是否注視所述電子設(shè)備的屏幕；其中，判斷出所述3D人臉圖像中的人眼是否注視所述電子設(shè)備的屏幕地過(guò)程為離線處理過(guò)程；所述3D人臉識(shí)別模型的訓(xùn)練過(guò)程，包括：

預(yù)先通過(guò)電子設(shè)備的前置攝像頭采集多張3D人臉圖像，對(duì)所述3D人臉圖像中的人眼是否注視電子設(shè)備的屏幕進(jìn)行標(biāo)注，得到所述3D人臉圖像的標(biāo)注信息；

對(duì)所述3D人臉圖像對(duì)應(yīng)的3D點(diǎn)云數(shù)據(jù)進(jìn)行三維重建得到人眼的位置信息；

根據(jù)所述人眼的位置信息從所述3D人臉圖像中獲取3D人眼圖像；

將所述3D人眼圖像與所述人眼所屬的3D人臉圖像的標(biāo)注信息輸入神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，得到3D人臉識(shí)別模型；

根據(jù)判斷結(jié)果計(jì)算所述3D人臉圖像中的人眼持續(xù)注視所述電子設(shè)備的屏幕的時(shí)間，得到人眼的持續(xù)注視時(shí)間。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述多張3D人臉圖像包括不同年齡段、不同性別的用戶注視屏幕的人臉圖像及非注視屏幕的人臉圖像，所述注視屏幕的人臉圖像包含從不同角度注視電子設(shè)備屏幕的人臉圖像。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述不同角度包括正視角度、斜視角度中的任意一種。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，在根據(jù)判斷結(jié)果計(jì)算所述3D人臉圖像中的人眼持續(xù)注視所述電子設(shè)備的屏幕的時(shí)間，得到人眼的持續(xù)注視時(shí)間之后，包括：

判斷所述持續(xù)注視時(shí)間是否達(dá)到預(yù)設(shè)時(shí)間閾值；

若是，則生成提醒信號(hào)；

若否，則繼續(xù)統(tǒng)計(jì)持續(xù)注視時(shí)間。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，在判斷出所述持續(xù)注視時(shí)間未超過(guò)預(yù)設(shè)時(shí)間閾值，則繼續(xù)統(tǒng)計(jì)持續(xù)注視時(shí)間之后，包括：

當(dāng)檢測(cè)到本次持續(xù)注視時(shí)間出現(xiàn)間斷時(shí)，記錄間斷時(shí)間；

判斷所述間斷時(shí)間是否達(dá)到預(yù)設(shè)休息時(shí)間；

若是，則結(jié)束計(jì)算本次持續(xù)注視時(shí)間，所述本次持續(xù)注視時(shí)間中不包含所述間斷時(shí)間；

若否，則將所述間斷時(shí)間計(jì)算入本次持續(xù)注視時(shí)間，且繼續(xù)統(tǒng)計(jì)本次持續(xù)注視時(shí)間。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述提醒信號(hào)以彈窗的形式出現(xiàn)在電子設(shè)備的屏幕上。

7.一種監(jiān)測(cè)人眼注視時(shí)間裝置，其特征在于，所述裝置包括：

3D人臉圖像采集模塊，用于通過(guò)電子設(shè)備的前置攝像頭按照預(yù)設(shè)頻率采集3D人臉圖像；

判斷模塊，用于對(duì)所述3D人臉圖像對(duì)應(yīng)的3D點(diǎn)云數(shù)據(jù)進(jìn)行三維重建得到人眼的位置信息；根據(jù)所述人眼的位置信息從所述3D人臉圖像中獲取3D人眼圖像；調(diào)用3D人臉識(shí)別模型對(duì)所述3D人眼圖像中的眼球信息、焦點(diǎn)信息進(jìn)行分析，判斷出所述3D人臉圖像中的人眼是否注視所述電子設(shè)備的屏幕；其中，判斷出所述3D人臉圖像中的人眼是否注視所述電子設(shè)備的屏幕地過(guò)程為離線處理過(guò)程；

持續(xù)注視時(shí)間計(jì)算模塊，用于根據(jù)判斷結(jié)果計(jì)算所述3D人臉圖像中的人眼持續(xù)注視所述電子設(shè)備的屏幕的時(shí)間，得到人眼的持續(xù)注視時(shí)間；

3D人臉識(shí)別模型訓(xùn)練模塊，用于預(yù)先通過(guò)電子設(shè)備的前置攝像頭采集多張3D人臉圖像，對(duì)3D人臉圖像中的人眼是否注視電子設(shè)備的屏幕進(jìn)行標(biāo)注，得到3D人臉圖像的標(biāo)注信息；對(duì)3D人臉圖像對(duì)應(yīng)的3D點(diǎn)云數(shù)據(jù)進(jìn)行三維重建得到人眼的位置信息；根據(jù)人眼的位置信息從3D人臉圖像中獲取3D人眼圖像；將3D人眼圖像與人眼所屬的3D人臉圖像的標(biāo)注信息輸入神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，得到3D人臉識(shí)別模型。