[發(fā)明專利]一種基于視頻流的動(dòng)態(tài)人臉識(shí)別方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010559367.2
• 申請(qǐng)日: 2020-06-18
• 公開(kāi)（公告）號(hào): CN111860165A
• 公開(kāi)（公告）日: 2020-10-30
• 發(fā)明（設(shè)計(jì)）人: 聶蕓蕓;夏爐系;郭沛;張滸;許金金;王東;苗應(yīng)亮
• 申請(qǐng)（專利權(quán)）人: 盛視科技股份有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳市深軟翰琪知識(shí)產(chǎn)權(quán)代理有限公司 44380
• 代理人: 吳雅麗

1.一種基于視頻流的動(dòng)態(tài)人臉識(shí)別方法，其特征在于，包括：

S1、對(duì)訓(xùn)練視頻流進(jìn)行樣本采集，得到人臉圖像訓(xùn)練樣本；

S2、將人臉圖像訓(xùn)練樣本送入神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，每個(gè)人臉圖像訓(xùn)練樣本訓(xùn)練得到一個(gè)多維特征向量，將所述多維特征向量進(jìn)行歸一化，并將屬于同一個(gè)人的K個(gè)多維特征向量聚合為一個(gè)特征向量；

S3、利用聚合得到的特征向量，對(duì)未知視頻流進(jìn)行人臉識(shí)別。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟S1還包括：

對(duì)得到的人臉圖像訓(xùn)練樣本進(jìn)行分類清洗，使得屬于同一個(gè)人的人臉圖像訓(xùn)練樣本被置于同一子集。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟S2之前還包括：

對(duì)人臉圖像訓(xùn)練樣本進(jìn)行人臉檢測(cè)、人臉關(guān)鍵點(diǎn)檢測(cè)和人臉對(duì)齊矯正。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將屬于同一個(gè)人的K個(gè)多維特征向量聚合為一個(gè)特征向量，包括：

通過(guò)對(duì)屬于同一個(gè)人的K個(gè)多維特征向量按照不同權(quán)重向量分配進(jìn)行線性組合，將K個(gè)多維特征向量聚合為一個(gè)特征向量。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，步驟S2具體包括：

針對(duì)每個(gè)人臉圖像訓(xùn)練樣本獲得一個(gè)512維的特征向量Fⁱ_k，i＝1,2,…,n，n為總?cè)藬?shù)，i表示其中第i個(gè)人，k＝1,2,…,K_i，K_i為第i個(gè)人的人臉圖像訓(xùn)練樣本的總個(gè)數(shù)，k表示其中第k個(gè)人臉圖像訓(xùn)練樣本；

經(jīng)過(guò)L2范數(shù)對(duì)得到的特征向量進(jìn)行歸一化；

將歸一化后的、同一個(gè)人的K個(gè)特征向量聚合為一個(gè)特征向量，表示為：

其中，是線性權(quán)值因子。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，

線性權(quán)值因子通過(guò)以下公式計(jì)算獲得：

其中，是每個(gè)特征向量與核濾波器q點(diǎn)積所產(chǎn)生的權(quán)重因子，q是一個(gè)通過(guò)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)所得到的512*512的矩陣。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)未知視頻流進(jìn)行人臉識(shí)別之前，還包括：

對(duì)未知視頻流進(jìn)行樣本采集，樣本采集過(guò)程包括：從未知視頻流包含的P幀圖像中隨機(jī)采集K幀圖像，PK，得到P-K+1個(gè)圖像集合，每個(gè)圖像集合包括同一人臉的K個(gè)人臉圖像測(cè)試樣本；

對(duì)人臉圖像測(cè)試樣本進(jìn)行預(yù)處理；

將樣本采集的所有ID的人臉數(shù)據(jù)集合輸入神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，每一個(gè)ID圖像集合經(jīng)過(guò)特征融合都會(huì)得到對(duì)應(yīng)的一個(gè)特征向量。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，步驟S3具體包括：

建立人臉注冊(cè)數(shù)據(jù)庫(kù)：通過(guò)將分別屬于m個(gè)人的m個(gè)聚合得到的特征向量作為注冊(cè)特征向量，建立人臉注冊(cè)數(shù)據(jù)庫(kù)；

通過(guò)計(jì)算測(cè)試特征向量與注冊(cè)特征向量的相似度，進(jìn)行人臉識(shí)別。

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述通過(guò)計(jì)算測(cè)試特征向量與注冊(cè)特征向量的相似度，進(jìn)行人臉識(shí)別，包括：

將P-K+1個(gè)測(cè)試特征向量分別與人臉注冊(cè)數(shù)據(jù)庫(kù)中的目標(biāo)注冊(cè)特征向量進(jìn)行余弦相似度計(jì)算，獲得對(duì)應(yīng)的相似度集合，如果該相似度集合中的最大值大于閾值，則表示識(shí)別正確；

或者，

將P-K+1個(gè)測(cè)試特征向量分別與m個(gè)注冊(cè)特征向量依次進(jìn)行余弦相似度計(jì)算，對(duì)獲得的所有相似度進(jìn)行排序，如果所有相似度中的最大值是某個(gè)測(cè)試特征向量與目標(biāo)注冊(cè)特征向量計(jì)算的相似度，且該最大值大于閾值，則表示識(shí)別正確。

10.一種基于視頻流的動(dòng)態(tài)人臉識(shí)別裝置，其特征在于，包括：

樣本采集模塊，用于對(duì)訓(xùn)練視頻流進(jìn)行樣本采集，得到人臉圖像訓(xùn)練樣本；

人臉識(shí)別特征融合訓(xùn)練模塊，用于將人臉圖像訓(xùn)練樣本送入神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，每個(gè)人臉圖像訓(xùn)練樣本訓(xùn)練得到一個(gè)多維特征向量，將所述多維特征向量進(jìn)行歸一化，并將屬于同一個(gè)人的K個(gè)多維特征向量聚合為一個(gè)特征向量；

識(shí)別模塊，用于利用聚合得到的特征向量，對(duì)未知視頻流進(jìn)行人臉識(shí)別。