[發(fā)明專利]基于多模態(tài)特征人物屬性標(biāo)注方法、裝置、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011497246.6
• 申請(qǐng)日: 2020-12-17
• 公開（公告）號(hào): CN112560690A
• 公開（公告）日: 2021-03-26
• 發(fā)明（設(shè)計(jì)）人: 張帆
• 申請(qǐng)（專利權(quán)）人: 北京贏識(shí)科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/08
• 代理公司: 成都頂峰專利事務(wù)所(普通合伙) 51224
• 代理人: 楊俊華

本公開實(shí)施例中提供了一種基于多模態(tài)特征人物屬性標(biāo)注方法、裝置、設(shè)備及介質(zhì)，屬于圖像處理技術(shù)領(lǐng)域，具體包括：在預(yù)設(shè)時(shí)段內(nèi)，檢測(cè)目標(biāo)視頻內(nèi)的全部人員對(duì)應(yīng)的人臉特征數(shù)據(jù)和人體特征數(shù)據(jù)；根據(jù)人臉模型識(shí)別全部人臉特征數(shù)據(jù)，并將人臉模型識(shí)別為同一人的人臉特征數(shù)據(jù)標(biāo)注相同的編號(hào)；將編號(hào)相同的人臉特征數(shù)據(jù)檢測(cè)時(shí)刻對(duì)應(yīng)的人體特征數(shù)據(jù)與編號(hào)關(guān)聯(lián)；利用人體特征數(shù)據(jù)訓(xùn)練得到人體模型；根據(jù)人體模型識(shí)別全部人體特征數(shù)據(jù)并更新人臉模型。通過(guò)本公開的方案，自動(dòng)識(shí)別并將識(shí)別為同一人的人臉特征數(shù)據(jù)標(biāo)注相同的編號(hào)，再將對(duì)應(yīng)的人體特征數(shù)據(jù)關(guān)聯(lián)相同編號(hào)，再訓(xùn)練得到新的人體模型和人臉模型，提高了所述方法的標(biāo)注效率、精準(zhǔn)度和安全性。

技術(shù)領(lǐng)域

本公開涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于多模態(tài)特征人物屬性標(biāo)注方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)

目前，在當(dāng)今社會(huì)，人工智能正在越來(lái)越多的領(lǐng)域發(fā)揮著巨大的作用。比如人臉識(shí)別，人體識(shí)別等等。這些技術(shù)能真正應(yīng)用到實(shí)際場(chǎng)景，與深度學(xué)習(xí)技術(shù)的發(fā)展密不可分，而深度學(xué)習(xí)的基礎(chǔ)，就是海量的帶有標(biāo)簽的樣本，現(xiàn)在獲取數(shù)據(jù)的成本越來(lái)越低，面對(duì)海量的數(shù)據(jù)，如何給每個(gè)數(shù)據(jù)打上合適且正確的標(biāo)簽，成為了制約人工智能技術(shù)發(fā)展的瓶頸。現(xiàn)有的人物屬性標(biāo)注方法，需要依賴人工標(biāo)注，費(fèi)時(shí)費(fèi)力，且由于人工操作失誤，可能會(huì)出現(xiàn)標(biāo)注不準(zhǔn)確，以及，僅針對(duì)同一模態(tài)進(jìn)行標(biāo)注，若需要對(duì)其他模態(tài)進(jìn)行標(biāo)注，則意味著標(biāo)注量的加倍增長(zhǎng)，同時(shí)，在當(dāng)今社會(huì)，越來(lái)越強(qiáng)調(diào)用戶數(shù)據(jù)的隱私，這種人工看圖片或者分發(fā)數(shù)據(jù)給外部標(biāo)注人員的方式，給數(shù)據(jù)安全帶來(lái)極大的不可控風(fēng)險(xiǎn)，造成用戶的隱私泄漏。

可見(jiàn)，亟需一種高效精準(zhǔn)且安全性強(qiáng)的基于多模態(tài)特征人物屬性標(biāo)注方法。

發(fā)明內(nèi)容

有鑒于此，本公開實(shí)施例提供一種基于多模態(tài)特征人物屬性標(biāo)注方法、裝置、設(shè)備及介質(zhì)，至少部分解決現(xiàn)有技術(shù)中標(biāo)注效率、精準(zhǔn)度和安全性較低的問(wèn)題。

第一方面，本公開實(shí)施例提供了一種基于多模態(tài)特征人物屬性標(biāo)注方法，包括：

在預(yù)設(shè)時(shí)段內(nèi)，檢測(cè)目標(biāo)視頻內(nèi)的全部人員對(duì)應(yīng)的人臉特征數(shù)據(jù)和人體特征數(shù)據(jù)；

根據(jù)人臉模型識(shí)別全部所述人臉特征數(shù)據(jù)，并將所述人臉模型識(shí)別為同一人的人臉特征數(shù)據(jù)標(biāo)注相同的編號(hào)；

將所述編號(hào)相同的所述人臉特征數(shù)據(jù)檢測(cè)時(shí)刻對(duì)應(yīng)的人體特征數(shù)據(jù)與所述編號(hào)關(guān)聯(lián)；

利用所述人體特征數(shù)據(jù)訓(xùn)練得到人體模型；

根據(jù)所述人體模型識(shí)別全部所述人體特征數(shù)據(jù)并更新所述人臉模型。

根據(jù)本公開實(shí)施例的一種具體實(shí)現(xiàn)方式，所述在預(yù)設(shè)時(shí)段內(nèi)，檢測(cè)目標(biāo)視頻內(nèi)的全部人員對(duì)應(yīng)的人臉特征數(shù)據(jù)和人體特征數(shù)據(jù)的步驟，包括：

獲取所述預(yù)設(shè)時(shí)段內(nèi)所述目標(biāo)視頻的每一幀圖像；

提取全部所述圖像內(nèi)包含的人臉圖像形成所述人臉特征數(shù)據(jù)，以及，提取全部所述圖像內(nèi)包含的人體圖像形成所述人體特征數(shù)據(jù)。

根據(jù)本公開實(shí)施例的一種具體實(shí)現(xiàn)方式，所述根據(jù)人臉模型識(shí)別全部所述人臉特征數(shù)據(jù)，并將所述人臉模型識(shí)別為同一人的人臉特征數(shù)據(jù)標(biāo)注相同的編號(hào)的步驟，包括：

將全部所述人臉特征數(shù)據(jù)輸入所述人臉模型，得到全部所述人臉特征數(shù)據(jù)之間的匹配度；

判斷所述匹配度是否大于閾值；

若所述匹配度大于所述閾值，則將所述匹配度對(duì)應(yīng)的人臉特征數(shù)據(jù)為同一人并標(biāo)注相同的編號(hào)；

若所述匹配度小于或等于所述閾值，則禁止將所述匹配度對(duì)應(yīng)的人臉特征數(shù)據(jù)為同一人并標(biāo)注相同的編號(hào)。

根據(jù)本公開實(shí)施例的一種具體實(shí)現(xiàn)方式，所述將所述編號(hào)相同的所述人臉特征數(shù)據(jù)檢測(cè)時(shí)刻對(duì)應(yīng)的人體特征數(shù)據(jù)與所述編號(hào)關(guān)聯(lián)的步驟，包括：