[發(fā)明專(zhuān)利]人臉跟蹤方法、系統(tǒng)及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011638503.3
• 申請(qǐng)日: 2020-12-31
• 公開(kāi)（公告）號(hào): CN112733685A
• 公開(kāi)（公告）日: 2021-04-30
• 發(fā)明（設(shè)計(jì)）人: 羅伯特·羅恩思;馬原
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京澎思科技有限公司
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06N20/00
• 代理公司: 北京布瑞知識(shí)產(chǎn)權(quán)代理有限公司 11505
• 代理人: 張欣

本申請(qǐng)公開(kāi)了一種人臉跟蹤方法、系統(tǒng)、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。該方法包括：從第一圖像幀中獲取多個(gè)人臉的圖像；對(duì)多個(gè)人臉的圖像進(jìn)行拼接，得到拼接之后的拼圖；將拼圖輸入第一深度學(xué)習(xí)模型，以對(duì)多個(gè)人臉進(jìn)行跟蹤，得到多個(gè)人臉在第二圖像幀的跟蹤結(jié)果，其中第二圖像幀位于第一圖像幀之后且與第一圖像幀相鄰；將拼圖輸入第二深度學(xué)習(xí)模型，以對(duì)拼圖的質(zhì)量進(jìn)行檢測(cè)，得到多個(gè)人臉在第一圖像幀中的質(zhì)量得分。可見(jiàn)，本申請(qǐng)中將多張人臉的圖像拼接成拼圖后再利用深度學(xué)習(xí)模型進(jìn)行跟蹤和質(zhì)量檢測(cè)，由于針對(duì)拼圖處理時(shí)的前向推理的時(shí)間更短，因此能夠極大地縮短人臉跟蹤和質(zhì)量檢測(cè)的時(shí)間，提升處理效率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)視覺(jué)領(lǐng)域，并且更具體地，涉及一種人臉跟蹤方法、系統(tǒng)及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著人工智能技術(shù)的發(fā)展，深度學(xué)習(xí)模型在各個(gè)領(lǐng)域的應(yīng)用越來(lái)越廣。基于深度學(xué)習(xí)模型的多人臉跟蹤算法目前受到越來(lái)越多的關(guān)注。

現(xiàn)有的基于深度學(xué)習(xí)模型的多人臉跟蹤算法，需要將多張人臉圖像逐一地輸入到深度學(xué)習(xí)模型，從而對(duì)人臉進(jìn)行跟蹤和質(zhì)量檢測(cè)。如果跟蹤的人臉較多，需要深度學(xué)習(xí)模型對(duì)每一人臉進(jìn)行處理，這樣的批處理方式造成了處理耗時(shí)過(guò)長(zhǎng)，效率太低。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┮环N人臉跟蹤方法、系統(tǒng)及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，以提升多人臉跟蹤算法的效率。

第一方面，提供一種人臉跟蹤方法，包括：從第一圖像幀中獲取多個(gè)人臉的圖像；對(duì)多個(gè)人臉的圖像進(jìn)行拼接，得到拼接之后的拼圖；將拼圖輸入第一深度學(xué)習(xí)模型，以對(duì)多個(gè)人臉進(jìn)行跟蹤，得到多個(gè)人臉在第二圖像幀的跟蹤結(jié)果，其中第二圖像幀位于第一圖像之后且與第一圖像幀相鄰；將拼圖輸入第二深度學(xué)習(xí)模型，以對(duì)拼圖的質(zhì)量進(jìn)行檢測(cè)，得到多個(gè)人臉在第一圖像幀中的質(zhì)量得分。

在一個(gè)實(shí)施例中，所述第一深度學(xué)習(xí)模型中的卷積層的補(bǔ)齊模式為有效，并且所述第一深度學(xué)習(xí)模型中的池化核大小不大于池化步長(zhǎng)；和/或所述第二深度學(xué)習(xí)模型中的卷積層的補(bǔ)齊模式為有效，并且所述第二深度學(xué)習(xí)模型中的池化核大小不大于池化步長(zhǎng)。

在一個(gè)實(shí)施例中，所述多個(gè)人臉中的每個(gè)人臉的圖像的寬為所述第一深度學(xué)習(xí)模型的總體步長(zhǎng)的整數(shù)倍，且所述每個(gè)人臉的圖像的高為所述第一深度學(xué)習(xí)模型的總體步長(zhǎng)的整數(shù)倍；和/或所述多個(gè)人臉中的每個(gè)人臉的圖像的寬為所述第二深度學(xué)習(xí)模型的總體步長(zhǎng)的整數(shù)倍，且所述每個(gè)人臉的圖像的高為所述第二深度學(xué)習(xí)模型的總體步長(zhǎng)的整數(shù)倍。

在一個(gè)實(shí)施例中，第一圖像幀是檢測(cè)幀，第二圖像幀是跟蹤幀，在所述從第一圖像幀中獲取多個(gè)人臉的圖像之前，所述方法還包括：在檢測(cè)幀進(jìn)行人臉檢測(cè)，得到所述多個(gè)人臉的圖像的邊界框在所述檢測(cè)幀中的位置，且所述多個(gè)人臉的圖像的邊界框的尺寸相同。

在一個(gè)實(shí)施例中，所述多個(gè)人臉的邊界框中的每個(gè)邊界框的寬為W、高為H，所述拼圖的寬為W×N，所述拼圖的高為H，N表示所述多個(gè)人臉的數(shù)量。

在一個(gè)實(shí)施例中，所述方法還包括：在對(duì)所述多個(gè)人臉進(jìn)行跟蹤的過(guò)程中，維護(hù)所述多個(gè)人臉中的每個(gè)人臉的跟蹤信息，所述每個(gè)人臉的跟蹤信息包括所述每個(gè)人臉的圖像的邊界框在圖像幀中的位置以及所述每個(gè)人臉的質(zhì)量最高的圖像的信息。

在一個(gè)實(shí)施例中，所述每個(gè)人臉的質(zhì)量最高的圖像的信息包括以下信息中的至少一種：所述質(zhì)量最高的圖像的得分，所述質(zhì)量最高的圖像的邊界框在圖像幀中的空間位置，以及所述質(zhì)量最高的圖像在圖像序列中的時(shí)間位置。

在一個(gè)實(shí)施例中，所述多個(gè)人臉包括第一人臉，在所述將所述拼圖輸入第二深度學(xué)習(xí)模型，以對(duì)所述拼圖的質(zhì)量進(jìn)行檢測(cè)之后，所述方法還包括：如果所述第二深度學(xué)習(xí)模型輸出的所述拼圖的多個(gè)質(zhì)量得分中對(duì)應(yīng)第一人臉的質(zhì)量的得分高于所述第一人臉的質(zhì)量最高的圖像的得分，對(duì)所述第一人臉的跟蹤信息中的質(zhì)量最高的圖像的信息進(jìn)行更新。

第二方面，提供了一種人臉跟蹤系統(tǒng)，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序以實(shí)現(xiàn)第一方面所述方法的步驟。