[發(fā)明專利]識(shí)別視線方向的方法、裝置、設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011431648.6
• 申請(qǐng)日: 2020-12-07
• 公開（公告）號(hào): CN112597818A
• 公開（公告）日: 2021-04-02
• 發(fā)明（設(shè)計(jì)）人: 張修寶;于澤輝;沈海峰
• 申請(qǐng)（專利權(quán)）人: 北京嘀嘀無(wú)限科技發(fā)展有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/08
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 黃倩

1.一種訓(xùn)練用于識(shí)別視線方向的神經(jīng)網(wǎng)絡(luò)的方法，包括：

獲取多個(gè)訓(xùn)練人臉圖像，所述多個(gè)訓(xùn)練人臉圖像分別標(biāo)記有人物的視線方向；

獲取與所述多個(gè)訓(xùn)練人臉圖像對(duì)應(yīng)的多個(gè)深度圖；以及

基于所述多個(gè)訓(xùn)練人臉圖像和所述多個(gè)深度圖來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，以用于識(shí)別人臉圖像中的人物的視線方向。

2.根據(jù)權(quán)利要求1所述的方法，其中訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)包括：

基于所述多個(gè)訓(xùn)練人臉圖像和所述多個(gè)深度圖，確定用于訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)的目標(biāo)函數(shù)；以及

通過(guò)使所述目標(biāo)函數(shù)最小化來(lái)訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)，以確定所述神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)。

3.根據(jù)權(quán)利要求2所述的方法，其中確定所述目標(biāo)函數(shù)包括：

向所述神經(jīng)網(wǎng)絡(luò)輸入所述多個(gè)訓(xùn)練人臉圖像，以分別預(yù)測(cè)所述多個(gè)訓(xùn)練人臉圖像中的人物的視線方向；

基于所預(yù)測(cè)的視線方向和所標(biāo)記的視線方向之間的差異，確定第一損失函數(shù)；以及

至少基于所述第一損失函數(shù)來(lái)確定所述目標(biāo)函數(shù)。

4.根據(jù)權(quán)利要求3所述的方法，其中確定所述目標(biāo)函數(shù)包括：

從所述神經(jīng)網(wǎng)絡(luò)的特征提取層獲取與所述多個(gè)訓(xùn)練人臉圖像對(duì)應(yīng)的多個(gè)特征圖；

基于所述多個(gè)特征圖和所述多個(gè)深度圖之間的差異，確定第二損失函數(shù)；以及

基于所述第一損失函數(shù)和所述第二損失函數(shù)來(lái)確定所述目標(biāo)函數(shù)。

5.根據(jù)權(quán)利要求4所述的方法，其中基于所述第一損失函數(shù)和所述第二損失函數(shù)來(lái)確定所述目標(biāo)函數(shù)包括：

通過(guò)對(duì)所述第一損失函數(shù)和所述第二損失函數(shù)進(jìn)行加權(quán)求和來(lái)確定所述目標(biāo)函數(shù)。

6.根據(jù)權(quán)利要求1所述的方法，其中所述多個(gè)訓(xùn)練人臉圖像為關(guān)鍵點(diǎn)對(duì)齊的人臉圖像，所述關(guān)鍵點(diǎn)包括左眼、右眼、鼻子、左嘴角和右嘴角中的至少一項(xiàng)。

7.一種識(shí)別視線方向的方法，包括：

獲取輸入人臉圖像；以及

利用根據(jù)權(quán)利要求1-6中任一項(xiàng)所述的方法訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，識(shí)別所述輸入人臉圖像中的人物的視線方向。

8.一種訓(xùn)練用于識(shí)別視線方向的神經(jīng)網(wǎng)絡(luò)的裝置，包括：

訓(xùn)練圖像獲取模塊，被配置為獲取多個(gè)訓(xùn)練人臉圖像，所述多個(gè)訓(xùn)練人臉圖像分別標(biāo)記有人物的視線方向；

深度圖獲取模塊，被配置為獲取與所述多個(gè)訓(xùn)練人臉圖像對(duì)應(yīng)的多個(gè)深度圖；以及

神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊，被配置為基于所述多個(gè)訓(xùn)練人臉圖像和所述多個(gè)深度圖來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，以用于識(shí)別人臉圖像中的人物的視線方向。

9.根據(jù)權(quán)利要求8所述的裝置，其中所述神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊包括：

目標(biāo)函數(shù)確定模塊，被配置為基于所述多個(gè)訓(xùn)練人臉圖像和所述多個(gè)深度圖，確定用于訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)的目標(biāo)函數(shù)；以及

網(wǎng)絡(luò)參數(shù)確定模塊，被配置為通過(guò)使所述目標(biāo)函數(shù)最小化來(lái)訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)，以確定所述神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)。

10.根據(jù)權(quán)利要求9所述的裝置，其中所述目標(biāo)函數(shù)確定模塊包括：

預(yù)測(cè)模塊，被配置為向所述神經(jīng)網(wǎng)絡(luò)輸入所述多個(gè)訓(xùn)練人臉圖像，以分別預(yù)測(cè)所述多個(gè)訓(xùn)練人臉圖像中的人物的視線方向；

第一確定模塊，被配置為基于所預(yù)測(cè)的視線方向和所標(biāo)記的視線方向之間的差異，確定第一損失函數(shù)；以及

第二確定模塊，被配置為至少基于所述第一損失函數(shù)來(lái)確定所述目標(biāo)函數(shù)。

11.根據(jù)權(quán)利要求10所述的裝置，其中所述目標(biāo)函數(shù)確定模塊還包括：

深度圖獲取模塊，被配置為從所述神經(jīng)網(wǎng)絡(luò)的特征提取層獲取與所述多個(gè)訓(xùn)練人臉圖像對(duì)應(yīng)的多個(gè)特征圖；

第三確定模塊，被配置為基于所述多個(gè)特征圖和所述多個(gè)深度圖之間的差異，確定第二損失函數(shù)；以及

第四確定模塊，被配置為基于所述第一損失函數(shù)和所述第二損失函數(shù)來(lái)確定所述目標(biāo)函數(shù)。