[發(fā)明專利]識(shí)別視線方向的方法、裝置、設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011431648.6
• 申請(qǐng)日: 2020-12-07
• 公開（公告）號(hào): CN112597818A
• 公開（公告）日: 2021-04-02
• 發(fā)明（設(shè)計(jì)）人: 張修寶;于澤輝;沈海峰
• 申請(qǐng)（專利權(quán)）人: 北京嘀嘀無限科技發(fā)展有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/08
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 黃倩

本公開的實(shí)施例涉及用于識(shí)別視線方向的方法、裝置、設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。一種訓(xùn)練用于識(shí)別視線方向的神經(jīng)網(wǎng)絡(luò)的方法包括獲取多個(gè)訓(xùn)練人臉圖像，該多個(gè)訓(xùn)練人臉圖像分別標(biāo)記有人物的視線方向；獲取與多個(gè)訓(xùn)練人臉圖像對(duì)應(yīng)的多個(gè)深度圖；以及基于多個(gè)訓(xùn)練人臉圖像和多個(gè)深度圖來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，以用于識(shí)別人臉圖像中的人物的視線方向。本公開的實(shí)施例利用人臉圖像的深度圖作為神經(jīng)網(wǎng)絡(luò)訓(xùn)練的監(jiān)督信號(hào)，促使神經(jīng)網(wǎng)絡(luò)僅關(guān)注與視線方向有關(guān)的空間特征，而不關(guān)注人臉的其他特征。以此方式，本公開的實(shí)施例能夠有效提高所訓(xùn)練的神經(jīng)網(wǎng)絡(luò)識(shí)別視線方向的準(zhǔn)確性。

技術(shù)領(lǐng)域

本公開的實(shí)施例總體涉及機(jī)器學(xué)習(xí)領(lǐng)域，具體涉及用于識(shí)別視線方向的方法、裝置、設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

司機(jī)的注意力分散是導(dǎo)致交通事故發(fā)生的重要因素。因此，期望對(duì)司機(jī)的視線方向進(jìn)行監(jiān)控。當(dāng)司機(jī)的視線方向偏離預(yù)定范圍時(shí)，向司機(jī)進(jìn)行報(bào)警和提示，從而減少因?yàn)樗緳C(jī)的注意力分散而導(dǎo)致的交通事故。

然而，在實(shí)際駕駛環(huán)境下利用計(jì)算機(jī)視覺手段來識(shí)別司機(jī)的視線方向非常具有挑戰(zhàn)性。這是因?yàn)樵诓煌{駛環(huán)境下，司機(jī)的身份、姿態(tài)、座椅高度以及攝像頭的擺放位置等因素都會(huì)對(duì)司機(jī)視線方向的識(shí)別準(zhǔn)確率造成影響。

發(fā)明內(nèi)容

本公開的實(shí)施例提供了用于識(shí)別視線方向的方法、裝置、設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

在本公開的第一方面，提供了一種訓(xùn)練用于識(shí)別視線方向的神經(jīng)網(wǎng)絡(luò)的方法。該方法包括獲取多個(gè)訓(xùn)練人臉圖像，該多個(gè)訓(xùn)練人臉圖像分別標(biāo)記有人物的視線方向；獲取與多個(gè)訓(xùn)練人臉圖像對(duì)應(yīng)的多個(gè)深度圖；以及基于多個(gè)訓(xùn)練人臉圖像和多個(gè)深度圖來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，以用于識(shí)別人臉圖像中的人物的視線方向。

在本公開的第二方面，提供了一種識(shí)別視線方向的方法。該方法包括獲取輸入人臉圖像；以及利用根據(jù)本公開的第一方面所述的方法訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，識(shí)別輸入人臉圖像中的人物的視線方向。

在本公開的第三方面，提供了一種訓(xùn)練用于識(shí)別視線方向的神經(jīng)網(wǎng)絡(luò)的裝置。該裝置包括訓(xùn)練圖像獲取模塊，被配置為獲取多個(gè)訓(xùn)練人臉圖像，該多個(gè)訓(xùn)練人臉圖像分別標(biāo)記有人物的視線方向；深度圖獲取模塊，被配置為獲取與多個(gè)訓(xùn)練人臉圖像對(duì)應(yīng)的多個(gè)深度圖；以及神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊，被配置為基于多個(gè)訓(xùn)練人臉圖像和多個(gè)深度圖來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，以用于識(shí)別人臉圖像中的人物的視線方向。

在本公開的第四方面，提供了一種識(shí)別視線方向的裝置。該裝置包括輸入圖像獲取模塊，被配置為獲取輸入人臉圖像；以及識(shí)別模塊，被配置為利用根據(jù)本公開的第一方面所述的方法訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，識(shí)別輸入人臉圖像中的人物的視線方向。

在本公開的第五方面中，提供了一種計(jì)算設(shè)備，包括一個(gè)或多個(gè)處理器；以及存儲(chǔ)器，用于存儲(chǔ)一個(gè)或多個(gè)程序，當(dāng)一個(gè)或多個(gè)程序被一個(gè)或多個(gè)處理器執(zhí)行時(shí)，使該計(jì)算設(shè)備實(shí)現(xiàn)根據(jù)本公開的第一方面或第二方面所描述的方法。

在本公開的第六方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序。該計(jì)算機(jī)程序在處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)本公開的第一方面或第二方面所描述的方法的任意步驟。

提供發(fā)明內(nèi)容部分是為了以簡(jiǎn)化的形式來介紹對(duì)概念的選擇，它們?cè)谙挛牡木唧w實(shí)施方式中將被進(jìn)一步描述。發(fā)明內(nèi)容部分無意標(biāo)識(shí)本公開的關(guān)鍵特征或必要特征，也無意限制本公開的范圍。

附圖說明

通過結(jié)合附圖對(duì)本公開示例性實(shí)施例進(jìn)行更詳細(xì)的描述，本公開的上述以及其它目的、特征和優(yōu)勢(shì)將變得更加明顯，其中，在本公開示例性實(shí)施例中，相同的參考標(biāo)號(hào)通常代表相同部件。

圖1示出了本公開的實(shí)施例能夠在其中實(shí)現(xiàn)的示例系統(tǒng)的框圖；

圖2示出了根據(jù)本公開的實(shí)施例的訓(xùn)練用于識(shí)別視線方向的神經(jīng)網(wǎng)絡(luò)的示例方法的流程圖；

圖3示出了根據(jù)本公開的實(shí)施例的訓(xùn)練人臉圖像及其對(duì)應(yīng)的深度圖的示例；