[發(fā)明專利]一種視頻人臉標(biāo)記方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201811141277.0
• 申請(qǐng)日: 2018-09-28
• 公開（公告）號(hào): CN109472197A
• 公開（公告）日: 2019-03-15
• 發(fā)明（設(shè)計(jì)）人: 張一帆
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院自動(dòng)化研究所;中國(guó)科學(xué)院自動(dòng)化研究所南京人工智能芯片創(chuàng)新研究院
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00
• 代理公司: 北京華夏泰和知識(shí)產(chǎn)權(quán)代理有限公司 11662
• 代理人: 孟德棟

本發(fā)明實(shí)施例提出的一種視頻人臉標(biāo)記方法，根據(jù)待標(biāo)記視頻和與待標(biāo)記視頻對(duì)應(yīng)的文本中分別計(jì)算人臉圖像和人名的出現(xiàn)頻次，建立人臉關(guān)系網(wǎng)和人名關(guān)系網(wǎng)。然后將人臉關(guān)系網(wǎng)和人名關(guān)系網(wǎng)分別轉(zhuǎn)化為無向圖，通過對(duì)兩個(gè)無向圖進(jìn)行匹配的方法在兩個(gè)無向圖的頂點(diǎn)之間建立對(duì)應(yīng)關(guān)系，以實(shí)現(xiàn)對(duì)待標(biāo)記視頻中的人臉圖像進(jìn)行標(biāo)記。本申請(qǐng)?zhí)峁┑娜四槝?biāo)記方法，通過將待標(biāo)記視頻和與待標(biāo)記視頻對(duì)應(yīng)的文本進(jìn)行圖匹配，實(shí)現(xiàn)了待標(biāo)記視頻中的人臉標(biāo)記，擺脫了對(duì)時(shí)間信息的要求。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及人臉標(biāo)記技術(shù)領(lǐng)域，具體涉及一種視頻人臉標(biāo)記方法。

背景技術(shù)

隨著電影工業(yè)的蓬勃發(fā)展，大批的電影相繼制作產(chǎn)生。對(duì)于海量電影視頻數(shù)據(jù)的索引、組織和管理也變得越來越重要。在電影中，由于情節(jié)皆是圍繞人物展開的，因此人物通常是觀眾關(guān)注的焦點(diǎn)，所以人物是電影中需要標(biāo)注和索引的重要內(nèi)容。

現(xiàn)有的人臉標(biāo)記技術(shù)以往主要應(yīng)用于新聞視頻，因?yàn)樵谛侣勔曨l中，可以在通過語音轉(zhuǎn)錄的文本中獲取大量人名，而且該轉(zhuǎn)錄文本與視頻在時(shí)間上是自動(dòng)對(duì)齊的，可以根據(jù)時(shí)間的一致性實(shí)現(xiàn)人臉與人名的關(guān)聯(lián)。這種方法可以稱為“局部匹配”。然而在電影視頻中，局部匹配卻并不適用。這是因?yàn)殡娪叭宋锏膶?duì)話中并不經(jīng)常出現(xiàn)人名，所以從語音轉(zhuǎn)錄文本中無法提取到足夠的人名。在電影劇本中，雖然包含有人物的姓名，但是卻沒有時(shí)間信息，無法將劇本與視頻在時(shí)間上進(jìn)行對(duì)齊，即無法采用局部匹配來實(shí)現(xiàn)人臉與人名的匹配。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題或者至少部分地解決上述技術(shù)問題，本發(fā)明實(shí)施例提供了一種視頻人臉標(biāo)記方法。

有鑒于此，第一方面，本發(fā)明實(shí)施例提供一種視頻人臉標(biāo)記方法，其特征在于，包括：

獲取待標(biāo)記視頻中的人臉圖像序列；

根據(jù)所述人臉圖像序列建立人臉關(guān)系網(wǎng)；

獲取與所述待標(biāo)記視頻對(duì)應(yīng)的文本中的人名；

根據(jù)所述人名構(gòu)建人名關(guān)系網(wǎng)；

分別將所述人臉關(guān)系網(wǎng)和所述人名關(guān)系網(wǎng)轉(zhuǎn)化為人臉無向圖和人名無向圖；

對(duì)所述人臉無向圖和人名無向圖進(jìn)行匹配，得到待標(biāo)記視頻中人臉圖像的標(biāo)記結(jié)果。

可選的，所述獲取待標(biāo)記視頻中的人臉圖像序列，包括：

采用多視角的人臉檢測(cè)與跟蹤器自動(dòng)獲取待標(biāo)記視頻中的人臉圖像序列。

可選的，根據(jù)所述人臉圖像序列建立人臉關(guān)系網(wǎng)，包括：

采用搬土距離算法計(jì)算人臉圖像序列間的距離；

根據(jù)所述人臉圖像序列間的距離采用凝聚層次聚類算法對(duì)所述人臉圖像序列進(jìn)行聚類，得到人臉簇；

統(tǒng)計(jì)每一個(gè)人臉簇在所述待標(biāo)記視頻的各個(gè)場(chǎng)景中出現(xiàn)的頻次；

根據(jù)任意兩個(gè)人臉簇在所述待標(biāo)記視頻的各個(gè)場(chǎng)景中分別出現(xiàn)的頻次，計(jì)算所述任意兩個(gè)人臉簇在所述待標(biāo)記視頻的各個(gè)場(chǎng)景中共同出現(xiàn)的頻次；

根據(jù)所述任意兩個(gè)人臉簇在所述待標(biāo)記視頻的各個(gè)場(chǎng)景中共同出現(xiàn)的頻次構(gòu)建人臉關(guān)系網(wǎng)。

可選的，獲取與所述待標(biāo)記視頻對(duì)應(yīng)的文本中的人名，包括：

采用命名實(shí)體識(shí)別算法識(shí)別出所述文本中的人名。

可選的，根據(jù)所述人名構(gòu)建人名關(guān)系網(wǎng)，包括：

統(tǒng)計(jì)每一個(gè)人名在所述文本的各個(gè)場(chǎng)景中出現(xiàn)的頻次；

根據(jù)任意兩個(gè)人名在所述文本的各個(gè)場(chǎng)景中分別出現(xiàn)的頻次，計(jì)算所述任意兩個(gè)人名在所述文本的各個(gè)場(chǎng)景中共同出現(xiàn)的頻次；