[發(fā)明專利]一種基于深度級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的高速人臉跟蹤方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110403624.8
• 申請(qǐng)日: 2021-04-15
• 公開(kāi)（公告）號(hào): CN113284166A
• 公開(kāi)（公告）日: 2021-08-20
• 發(fā)明（設(shè)計(jì)）人: 不公告發(fā)明人
• 申請(qǐng)（專利權(quán)）人: 陽(yáng)光暖果（北京）科技發(fā)展有限公司
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06N3/04;G06N3/08
• 代理公司: 北京科迪生專利代理有限責(zé)任公司 11251
• 代理人: 江亞平

本發(fā)明涉及一種基于深度級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的高速人臉跟蹤方法及系統(tǒng)，其方法包括：S1：建立多層級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的人臉跟蹤模型；S2：對(duì)人臉跟蹤模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的人臉跟蹤模型；S3：輸入人臉視頻幀到訓(xùn)練好的人臉跟蹤模型，若該幀為第一幀或校準(zhǔn)幀，通過(guò)完整的多層級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)進(jìn)行檢測(cè)，得到人臉框位置；若該幀是后續(xù)幀，則將該幀的上一幀的輸出的人臉候選框，輸入多層級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的最后一層進(jìn)行檢測(cè)，得到人臉框位置。本發(fā)明提供的方法，充分利用人臉跟蹤任務(wù)中幀與幀之間在圖像特征與語(yǔ)義上有較大關(guān)聯(lián)，因此利用上一幀中高層高分辨率級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)輸出的高精度人臉框作為先驗(yàn)信息，作為對(duì)下一幀的跟蹤流程的基礎(chǔ)，進(jìn)而大大加速人臉跟蹤過(guò)程。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像增強(qiáng)與計(jì)算機(jī)視覺(jué)領(lǐng)域，具體涉及一種基于深度級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的高速人臉跟蹤方法及系統(tǒng)。

背景技術(shù)

在人臉跟蹤的使用場(chǎng)景中，人臉跟蹤的推斷速度直接反映為處理后輸出的視頻流的幀數(shù)，從而直接影響到用戶體驗(yàn)。傳統(tǒng)的人臉跟蹤算法通過(guò)傳統(tǒng)的機(jī)器學(xué)習(xí)算法進(jìn)行手工特征表征的匹配以確定圖像區(qū)域與待檢人臉圖像的對(duì)應(yīng)關(guān)系，但這種方法不能充分利用人臉圖像的深層信息，因而跟蹤效果較差；而且，深度跟蹤算法則受困于計(jì)算復(fù)雜度，在算力較為有限的生產(chǎn)環(huán)境下無(wú)法達(dá)到高速實(shí)時(shí)的跟蹤效果。

發(fā)明內(nèi)容

為了解決上述技術(shù)問(wèn)題，本發(fā)明提供一種基于深度級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的高速人臉跟蹤方法及系統(tǒng)。

本發(fā)明技術(shù)解決方案為：一種基于深度級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的高速人臉跟蹤方法，包括：

步驟S1：建立包括多層級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的人臉跟蹤模型；

步驟S2：對(duì)所述人臉跟蹤模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的人臉跟蹤模型；

步驟S3：輸入人臉視頻幀到所述訓(xùn)練好的人臉跟蹤模型，如果所述人臉視頻幀為第一幀或校準(zhǔn)幀，則通過(guò)完整的所述多層級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)進(jìn)行檢測(cè)，得到人臉框位置；如果所述人臉視頻幀是后續(xù)幀，則將該幀的上一幀的輸出的人臉候選框作為輸入，輸入所述多層級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的最后一層進(jìn)行檢測(cè)，得到人臉框位置。本發(fā)明與現(xiàn)有技術(shù)相比，具有以下優(yōu)點(diǎn)：

本發(fā)明提出的供一種基于深度級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的高速人臉跟蹤方法，充分利用人臉跟蹤任務(wù)中幀與幀之間在圖像特征與語(yǔ)義上有較大關(guān)聯(lián)，因此利用上一幀中高層高分辨率級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)輸出的高精度人臉框作為先驗(yàn)信息，作為對(duì)下一幀的跟蹤流程的基礎(chǔ)，進(jìn)而大大加速人臉跟蹤過(guò)程。本發(fā)明提供的方法，能夠達(dá)到視覺(jué)實(shí)時(shí)(每秒鐘24幀以上)的跟蹤速度，因此可以實(shí)現(xiàn)在算力較為有限的移動(dòng)端平臺(tái)上進(jìn)行人臉跟蹤任務(wù)。

附圖說(shuō)明

圖1為本發(fā)明實(shí)施例中一種基于深度級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的高速人臉跟蹤方法的流程圖；

圖2為本發(fā)明實(shí)施例中一種基于深度級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的高速人臉跟蹤方法中的步驟S3：輸入人臉視頻幀到訓(xùn)練好的人臉跟蹤模型，如果人臉視頻幀為第一幀或校準(zhǔn)幀，則通過(guò)完整的所述多層級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)進(jìn)行檢測(cè)，得到人臉框位置；如果人臉視頻幀是后續(xù)幀，則將該幀的上一幀的輸出的人臉候選框作為輸入，輸入多層級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的最后一層進(jìn)行檢測(cè)，得到人臉框位置的流程圖；

圖3本發(fā)明實(shí)施例中一種基于深度級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的高速人臉跟蹤系統(tǒng)的結(jié)構(gòu)框圖。

實(shí)施方式

本發(fā)明提供了一種基于深度級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的高速人臉跟蹤方法以及系統(tǒng)，利用幀與幀之間在圖像特征與語(yǔ)義上有較大關(guān)聯(lián)，用上一幀中高層高分辨率級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)輸出的高精度人臉框作為先驗(yàn)信息，在此基礎(chǔ)上進(jìn)行跟蹤，從而大大提高了人臉跟蹤速度。

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚，以下通過(guò)具體實(shí)施，并結(jié)合附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。

實(shí)施例一

如圖1所示，本發(fā)明實(shí)施例提供的一種基于深度級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的高速人臉跟蹤方法，包括下述步驟：