[發(fā)明專利]人臉表情識(shí)別方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710531767.0
• 申請(qǐng)日: 2017-06-30
• 公開（公告）號(hào): CN107330407B
• 公開（公告）日: 2020-08-04
• 發(fā)明（設(shè)計(jì)）人: 高嘉宏
• 申請(qǐng)（專利權(quán)）人: 北京金山安全軟件有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;熊永強(qiáng)

1.一種人臉表情識(shí)別方法，其特征在于，包括：

對(duì)輸入視頻劃分的M個(gè)視頻片段進(jìn)行目標(biāo)識(shí)別，得到N個(gè)包含目標(biāo)人臉圖像的視頻片段，并記錄所述目標(biāo)人臉圖像在所述輸入視頻上的時(shí)間點(diǎn)，所述M為大于1的整數(shù)，所述N為小于或等于所述M的正整數(shù)；

從所述N個(gè)視頻片段中提取所述目標(biāo)人臉圖像的表情信息，得到N個(gè)表情信息，每一視頻片段對(duì)應(yīng)一個(gè)表情信息；

將所述N個(gè)表情信息進(jìn)行分類，得到P類表情信息，所述P為小于或等于所述N的正整數(shù)；

從所述P類表情信息中選取占用所述輸入視頻的播放時(shí)長(zhǎng)最長(zhǎng)的一類表情信息，將其作為所述輸入視頻的目標(biāo)人臉表情。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述對(duì)輸入視頻劃分的M個(gè)視頻片段進(jìn)行目標(biāo)識(shí)別之前，所述方法還包括：

根據(jù)預(yù)設(shè)時(shí)長(zhǎng)或所述輸入視頻的播放時(shí)長(zhǎng)將所述輸入視頻劃分為所述M個(gè)視頻片段。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述從所述N個(gè)視頻片段中提取所述目標(biāo)人臉圖像的表情信息，得到N個(gè)表情信息，包括：

對(duì)目標(biāo)視頻片段中的所述目標(biāo)人臉圖像，或?qū)λ瞿繕?biāo)視頻片段中包含所述目標(biāo)人臉圖像的L幀圖像中的每一幀圖像的目標(biāo)人臉圖像進(jìn)行表情信息提取，得到K個(gè)表情信息和所述K個(gè)表情信息中每一表情信息對(duì)應(yīng)的表情概率值，所述K為正整數(shù)，所述L為正整數(shù)，所述目標(biāo)視頻片段為所述N個(gè)視頻片段中的任一視頻片段；

將所述K個(gè)表情信息中的最大表情概率值對(duì)應(yīng)的表情信息作為所述目標(biāo)視頻片段的表情信息。

4.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述將所述N個(gè)表情信息進(jìn)行分類，得到P類表情信息，包括：

根據(jù)所述N個(gè)表情信息中的每一表情信息之間的差異值小于預(yù)設(shè)閾值的表情信息劃分為一類表情信息，得到所述P類表情信息。

5.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述對(duì)輸入視頻劃分的M個(gè)視頻片段進(jìn)行目標(biāo)識(shí)別，得到N個(gè)包含目標(biāo)人臉圖像的視頻片段，包括：

將所述M個(gè)視頻片段劃分為Q個(gè)幀圖像，所述Q為大于或等于所述M的整數(shù)；

對(duì)所述Q個(gè)幀圖像中每一幀圖像的所述目標(biāo)人臉圖像進(jìn)行表情信息提取，得到Q個(gè)表情信息，每一幀圖像對(duì)應(yīng)一個(gè)表情信息；

將所述Q個(gè)表情信息中每一表情信息之間的差異值小于預(yù)設(shè)閾值的相鄰幀圖像劃分為一個(gè)視頻片段，得到所述N個(gè)視頻片段。

6.一種人臉表情識(shí)別裝置，其特征在于，包括：

識(shí)別單元，用于對(duì)輸入視頻劃分的M個(gè)視頻片段進(jìn)行目標(biāo)識(shí)別，得到N個(gè)包含目標(biāo)人臉圖像的視頻片段，并記錄所述目標(biāo)人臉圖像在所述輸入視頻上的時(shí)間點(diǎn)，所述M為大于1的整數(shù)，所述N為小于或等于所述M的正整數(shù)；

第一提取單元，用于從所述N個(gè)視頻片段中提取所述目標(biāo)人臉圖像的表情信息，得到N個(gè)表情信息，每一視頻片段對(duì)應(yīng)一個(gè)表情信息；

分類單元，用于將所述N個(gè)表情信息進(jìn)行分類，得到P類表情信息，所述P為小于或等于所述N的正整數(shù)；

選取單元，用于從所述P類表情信息中選取占用所述輸入視頻的播放時(shí)長(zhǎng)最長(zhǎng)的一類表情信息，將其作為所述輸入視頻的目標(biāo)人臉表情。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述裝置還包括：

第一劃分單元，用于根據(jù)預(yù)設(shè)時(shí)長(zhǎng)或所述輸入視頻的播放時(shí)長(zhǎng)將所述輸入視頻劃分為所述M個(gè)視頻片段。

8.根據(jù)權(quán)利要求6或7所述的裝置，其特征在于，所述第一提取單元具體用于對(duì)目標(biāo)視頻片段中的所述目標(biāo)人臉圖像，或?qū)λ瞿繕?biāo)視頻片段中包含所述目標(biāo)人臉圖像的L幀圖像中的每一幀圖像的目標(biāo)人臉圖像進(jìn)行表情信息提取，得到K個(gè)表情信息和所述K個(gè)表情信息中每一表情信息對(duì)應(yīng)的表情概率值，所述K為正整數(shù)，所述L為正整數(shù)，所述目標(biāo)視頻片段為所述N個(gè)視頻片段中的任一視頻片段；將所述K個(gè)表情信息中的最大表情概率值對(duì)應(yīng)的表情信息作為所述目標(biāo)視頻片段的表情信息。