[發(fā)明專利]基于人體跟蹤的多人臉識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010085515.1
• 申請(qǐng)日: 2020-02-09
• 公開（公告）號(hào): CN111460884A
• 公開（公告）日: 2020-07-28
• 發(fā)明（設(shè)計(jì)）人: 柳建新;張鋼;張宏帆;李軒;邱利文
• 申請(qǐng)（專利權(quán)）人: 天津博宜特科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06T7/277
• 代理公司: 天津市三利專利商標(biāo)代理有限公司 12107
• 代理人: 仝林葉

本發(fā)明公開了一種基于多目標(biāo)跟蹤的自適應(yīng)人臉識(shí)別方法。本發(fā)明通過YOLOv3目標(biāo)識(shí)別獲取圖中各單人體坐標(biāo)，利用多目標(biāo)跟蹤技術(shù)，根據(jù)人體坐標(biāo)實(shí)現(xiàn)各人體目標(biāo)的跟蹤，同時(shí)，根據(jù)人體坐標(biāo)將圖像截取出來，送入人臉識(shí)別模型，當(dāng)識(shí)別出具體人名后，便將人名標(biāo)識(shí)在其人體名稱屬性中，若未識(shí)別則標(biāo)識(shí)上述名稱屬性為“未識(shí)別”；下一幀對(duì)檢測(cè)跟蹤的人體，查看人體名稱屬性若為具體人名，則不改變?nèi)梭w名稱屬性內(nèi)容，若被標(biāo)識(shí)“未識(shí)別”，則再次截取該人體圖像送入人臉檢測(cè)進(jìn)行識(shí)別，并根據(jù)結(jié)果更新人體名稱屬性中。本發(fā)明通過目標(biāo)檢測(cè)、多目標(biāo)跟蹤、人臉識(shí)別，實(shí)現(xiàn)視頻圖像中人臉確定身份后，不再進(jìn)行二次檢測(cè)。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，更具體地說，是涉及一種基于人體跟蹤的多人臉識(shí)別方法。

背景技術(shù)

通過生物特征進(jìn)行對(duì)人臉進(jìn)行識(shí)別的過程被稱為人臉識(shí)別，它是屬于計(jì)算機(jī)視覺領(lǐng)域的一個(gè)研究問題。相對(duì)于虹膜、指紋等的其他生物特征識(shí)別，人臉識(shí)別技術(shù)有著信息利于采集及驗(yàn)證等的優(yōu)勢(shì)。隨著技術(shù)的成熟，人臉識(shí)別已經(jīng)廣泛應(yīng)用在各個(gè)領(lǐng)域中。

人臉識(shí)別技術(shù)是生物特征識(shí)別系統(tǒng)的一個(gè)重要研究課題，就是用攝像機(jī)或者攝像頭來采集含有人臉的圖像或視頻流，并自動(dòng)在圖像中檢測(cè)和跟蹤人臉，進(jìn)而對(duì)檢測(cè)到的人臉進(jìn)行臉部辨識(shí)的一系列相關(guān)技術(shù)。與指紋、虹膜等技術(shù)相比，人臉識(shí)別是最直接、且方便的技術(shù)手段。人臉識(shí)別主要分為3個(gè)步驟，1)人臉檢測(cè)：即從圖像信息中檢測(cè)出人臉并返回位置范圍。2)人臉規(guī)范化：校正因?yàn)樵诠庹諒?qiáng)度、圖像像素等問題下人臉?biāo)l(fā)生的變化。3)人臉特征的提取：將識(shí)別到的人臉中的特征提取出來。4)人臉識(shí)別：將提取的到的特征與數(shù)據(jù)庫(kù)中已有的特征進(jìn)行匹配，進(jìn)行人臉識(shí)別。

多目標(biāo)跟蹤，即Multiple Object Tracking(MOT)，主要任務(wù)中是給定一個(gè)圖像序列，找到圖像序列中運(yùn)動(dòng)的物體，并將不同幀的運(yùn)動(dòng)物體進(jìn)行識(shí)別，也就是給定一個(gè)確定準(zhǔn)確的id，當(dāng)然這些物體可以是任意的，如行人、車輛、各種動(dòng)物等等，而最多的研究是行人跟蹤，由于人是一個(gè)非剛體的目標(biāo)，且實(shí)際應(yīng)用中行人檢測(cè)跟蹤更具有商業(yè)價(jià)值。

SORT全稱為Simple Online And Realtime Tracking，對(duì)于現(xiàn)在的多目標(biāo)跟蹤，更多依賴的是其檢測(cè)性能的好壞，也就是說通過改變檢測(cè)器可以提高18.9％，SORT算法盡管只是把普通的算法如卡爾曼濾波(Kalman Filter) 和匈牙利算法(Hungarian algorithm)結(jié)合到一起，卻可以匹配2016年的SOTA 算法，且速度可以達(dá)到260Hz，比前者快了20倍。

DeepSORT是SORT的升級(jí)版，其在正確率上相比SORT的提升并不是很明顯，其主要的突破在于，將IDswitch的頻率降低了45％，而這以突破則是由外觀模型的引入引起的。DeepSORT利用預(yù)先設(shè)計(jì)的CNN網(wǎng)絡(luò)，提取出一個(gè)描述bbox內(nèi)物體外觀的128維的向量，并將這一向量融入損失矩陣的構(gòu)造，從而使得匈牙利算法的匹配結(jié)果更加可靠。

YOLOv3是由Joseph Redmon和Ali Farhadi提出的單階段檢測(cè)器，該檢測(cè)器與達(dá)到同樣精度的傳統(tǒng)目標(biāo)檢測(cè)方法相比，推斷速度能達(dá)到接近兩倍。這個(gè)版本的更新有很多改動(dòng)尤其是網(wǎng)絡(luò)方面的，網(wǎng)絡(luò)變得更大也更準(zhǔn)確。320 *320的圖片作為YOLOv3的輸入，每張圖片的平均運(yùn)行時(shí)間是22ms，有 28.2mAP，和SSD相同的準(zhǔn)確率但比SSD快3倍。在某些評(píng)價(jià)標(biāo)準(zhǔn)中表現(xiàn)比 RetinaNet要好。

人臉檢測(cè)和人臉識(shí)別技術(shù)算是目前人工智能方面應(yīng)用最成熟的技術(shù)了。本方法利用MTCNN和faceNet搭建一個(gè)實(shí)現(xiàn)人臉檢測(cè)和人臉識(shí)別的系統(tǒng)。基本思路也很簡(jiǎn)單，先利用MTCNN的進(jìn)行人臉檢測(cè)，當(dāng)然也可以使用其他的人臉檢測(cè)方法，如Dilb，OpenCV，OpenFace人臉檢測(cè)等等，然后再利用faceNet 進(jìn)行人臉識(shí)別，faceNet可簡(jiǎn)單看成是提取人臉特征的CNN網(wǎng)絡(luò)，這個(gè)特征就是embadding了，有了人臉特征embadding，最后一步，就只需要與數(shù)據(jù)庫(kù)人臉特征進(jìn)行相似性比較，即可完成人臉識(shí)別的任務(wù)。