[發(fā)明專利]一種人臉檢測追蹤方法及裝置

有效

• 申請?zhí)枺?/td>: 201910364961.3
• 申請日: 2019-04-30
• 公開（公告）號: CN110097586B
• 公開（公告）日: 2023-05-30
• 發(fā)明（設(shè)計）人: 李鍇;劉雪莉;郝旭寧;單洪偉;王文建;姚曉方;譚繼雙
• 申請（專利權(quán)）人: 青島海信網(wǎng)絡(luò)科技股份有限公司
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06T7/277;G06T7/66;G06T5/00
• 代理公司: 青島聯(lián)智專利商標(biāo)事務(wù)所有限公司 37101
• 代理人: 馬萍華

1.一種人臉檢測追蹤方法，其特征在于，包括：獲取待測圖像和目標(biāo)人臉圖像；檢測并描述所述待測圖像和所述目標(biāo)人臉圖像中的特征點；其中，對所述待測圖像劃分多個圓形區(qū)域，對圓形區(qū)域中的中心像素點進行計算，若中心像素點與其周圍至少三個像素點的灰度值之差大于設(shè)定閾值，則繼續(xù)對中心像素點周圍其他的像素點進行檢測，進一步判斷是否為特征點，若否，則該像素點不是特征點；根據(jù)檢測和描述結(jié)果，匹配所述待測圖像和所述目標(biāo)人臉圖像中的特征點；對所述目標(biāo)人臉圖像和所述待測圖像匹配成功的特征點進行二次匹配，具體為，匹配成功的特征點數(shù)據(jù)集P由N個數(shù)據(jù)點組成，選擇P中的n個點為內(nèi)點，并通過n個點來擬合出模型的參數(shù)，從數(shù)據(jù)集P中選擇n個內(nèi)點組成內(nèi)點集C；根據(jù)這n個點來擬合出模型M；比較P中剩余的數(shù)據(jù)點數(shù)值與通過模型M估算的值，差值小于閾值t的數(shù)據(jù)點加入內(nèi)點集C，利用新得到的內(nèi)點集重新計算模型M；迭代k次，獲得估算的數(shù)學(xué)模型，用所述估算的數(shù)學(xué)模型進行二次匹配，以提高匹配準(zhǔn)度；根據(jù)匹配結(jié)果進行人臉檢測和追蹤，人臉檢測過程具體為，在k-1時刻，獲取所述待測圖像中目標(biāo)人臉圖像區(qū)域的中心點p(k-1)；

根據(jù)p(k-1)，用Kalman預(yù)測器估計出k時刻的人臉目標(biāo)區(qū)域的中心點p(k)；根據(jù)k時刻的中心點p(k)，在其鄰域設(shè)置ROI進行搜索，基于目標(biāo)人臉特征點，對待測視頻中進行目標(biāo)人臉追蹤；其中，在對特征點檢測并描述時，對所述待測圖像和所述目標(biāo)人臉圖像中的特征點添加方向；

對待測視頻中進行目標(biāo)人臉追蹤包括：

獲取追蹤目標(biāo)信息，提取人臉目標(biāo)的圖像大小，作為ROI窗口的尺寸大小：寬度為a，高度為b；

將目標(biāo)人臉圖像導(dǎo)入到追蹤系統(tǒng)的目標(biāo)庫，進行初始化，提取目標(biāo)人臉圖像中的特征信息，并做備份，保存一份原始目標(biāo)人臉圖像；

對相機獲取的待測視頻序列進行全幀搜索，提取第1幀中的特征點，并與人臉目標(biāo)上的特征點進行匹配，獲得目標(biāo)在第1幀中的匹配點集，對這個匹配點集合的坐標(biāo)求均值，獲取該匹配點集的中心點；以中心點為中心繪制ROI窗口，標(biāo)出目標(biāo)的圖像坐標(biāo)；如果連續(xù)2幀都能檢測到目標(biāo)的位置，對ROI窗口內(nèi)的目標(biāo)進行截取并保存到目標(biāo)圖片庫中；

對目標(biāo)中心點下一時刻的位置進行預(yù)測時，根據(jù)Kalman預(yù)測算法，對目標(biāo)中心點下一時刻的位置進行預(yù)測，選用在此預(yù)測點附近50×50的區(qū)域作為中心點的最大出現(xiàn)概率區(qū)域，以此為中心在其鄰域(50+a)×(50+b)的區(qū)域內(nèi)進行局部搜索，并加入糾錯機制，若在此區(qū)域內(nèi)搜索不到則轉(zhuǎn)為全局搜索；

若局部搜索目標(biāo)丟失，即在Kalman預(yù)測的范圍內(nèi)搜索不到目標(biāo)時，算法轉(zhuǎn)為全幀搜索，找到目標(biāo)后，再進入預(yù)測鄰域內(nèi)進行局部搜索；

若全局搜索丟失目標(biāo)，首先按照倒序從目標(biāo)人臉圖像庫中進行搜索匹配，追蹤到目標(biāo)則繼續(xù)目標(biāo)學(xué)習(xí)，并追蹤；

如果目標(biāo)人臉圖像庫沒找到目標(biāo)，則用備份的原始目標(biāo)人臉圖像的特征點去搜索全幀圖像中的目標(biāo)。

2.根據(jù)權(quán)利要求1所述的一種人臉檢測追蹤方法，其特征在于，所述待測圖像和所述目標(biāo)人臉圖像中的特征點添加方向包括：對所述待測圖像和所述目標(biāo)人臉圖像中的特征點進行篩選，得到特征點集；以所述特征點集中的特征點為中心，以N個像素大小為半徑的圓形區(qū)域為鄰域，計算所述鄰域的質(zhì)心；以所述質(zhì)心和所述特征點之間連線與所述特征點所在水平軸之間的夾角θ來描述所述特征點的方向。

3.根據(jù)權(quán)利要求2所述的一種人臉檢測追蹤方法，其特征在于，對所述待測圖像和所述目標(biāo)人臉圖像中的特征點進行篩選時，按照公式(1)計算所述待測圖像和所述目標(biāo)人臉圖像中每個特征點的得分值S；

其中，S為特征點的得分值；values是特征點周圍取的點的灰度值；q是特征點的灰度值；t為閾值，0t255，可根據(jù)圖像畫質(zhì)的質(zhì)量設(shè)置大小；

將一定區(qū)域內(nèi)所述得分值S最大的特征點放入所述特征點集。

4.根據(jù)權(quán)利要求3所述的一種人臉檢測追蹤方法，其特征在于：所述特征點集中的特征點周圍按照高斯分布方式選擇S*S大小的像素框?qū)Γ?/p>

根據(jù)所述像素框的像素和大小對所述像素框進行二進制賦值。

5.根據(jù)權(quán)利要求4所述的一種人臉檢測追蹤方法，其特征在于：對所述像素框的像素和大小計算時，計算每個所述像素框的像素和，形成特征描述子。