[發明專利]人臉檢測方法、人臉檢測模型的訓練方法及裝置

在審

• 申請號: 202210334010.3
• 申請日: 2022-03-30
• 公開（公告）號: CN114663957A
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 劉穩軍;朱浩齊;周森;楊衛強;李雨珂;胡宜峰
• 申請（專利權）人: 杭州網易智企科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/40;G06V10/74;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 王輝

1.一種人臉檢測方法，其特征在于，包括：

獲取待檢測視頻的多個視頻幀，將每個所述視頻幀劃分為多個圖像塊，所述視頻幀為包含人臉信息的圖像；

針對每個所述視頻幀，將所述多個圖像塊輸入至預訓練的人臉檢測模型，所述預訓練的人臉檢測模型包括第一自注意力模型和與所述第一自注意力模型級聯的第二自注意力模型，通過所述第一自注意力模型對所述多個圖像塊進行預測運算，得到每個所述視頻幀的第一預測信息；

將各所述視頻幀的第一預測信息輸入至所述第二自注意力模型進行預測運算，得到第二預測信息；

融合各所述視頻幀的第一預測信息與所述第二預測信息，生成融合預測信息，所述融合預測信息用于表征所述待檢測視頻是否存在人臉偽造圖像的情況。

2.根據權利要求1所述的方法，其特征在于，所述第一預測信息用于表征所述視頻幀中人臉特征的區域變化趨勢，所述第一預測信息包括：

所述視頻幀對應的第一人臉特征向量和第一預測概率，所述第一預測概率表征所述視頻幀中存在目標圖像塊的可能性，所述目標圖像塊為包含人臉偽造特征的圖像塊。

3.根據權利要求2所述的方法，其特征在于，所述通過所述第一自注意力模型對所述多個圖像塊進行預測運算，得到每個所述視頻幀的第一預測信息，包括：

將每個所述圖像塊線性映射為圖像特征向量，所述圖像特征向量用于表征圖像塊的圖像內容；

將所述多個圖像特征向量輸入至所述第一自注意力模型，輸出所述視頻幀的第一人臉特征向量和第一預測概率；

其中，將所述多個圖像特征向量輸入至所述第一自注意力模型，輸出所述視頻幀的第一人臉特征向量和第一預測概率，包括：

所述第一自注意力模型基于所述圖像特征向量，計算所述圖像塊之間的第一關聯程度，并根據所述第一關聯程度和圖像特征向量，計算所述第一人臉特征向量，所述第一關聯程度表征所述多個圖像塊中的相應圖像塊與其它圖像塊之間的特征關聯程度；

所述第一人臉特征向量經第一感知機進行特征預測處理，得到所述第一預測概率。

4.根據權利要求2所述的方法，其特征在于，所述第二預測信息包括第二人臉特征向量和第二預測概率，所述第二預測信息用于表征所述待檢測視頻中的人臉特征隨時間的變化，所述第二預測概率用于表征所述待檢測視頻存在目標人臉圖像的可能性，所述目標人臉圖像為包含人臉偽造特征的圖像；

所述將各所述視頻幀的第一預測信息輸入至所述第二自注意力模型進行預測運算，得到第二預測信息，包括：

將所有視頻幀的第一人臉特征向量，輸入至所述第二自注意力模型；

經所述第二自注意力模型，基于所述第一人臉特征向量，計算各所述視頻幀之間的第二關聯程度，并根據所述第二關聯程度和第一人臉特征向量，計算所述第二人臉特征向量，所述第二關聯程度表征所述所有視頻幀中的相應視頻幀與其它視頻幀之間的特征關聯程度；

所述第二人臉特征向量經第二感知機進行特征預測處理，得到所述第二預測概率。

5.一種人臉檢測模型的訓練方法，其特征在于，所述人臉檢測模型包括第一自注意力模型以及與所述第一自注意力模型級聯的第二自注意力模型，所述方法包括：

獲取第一樣本集，所述第一樣本集中的樣本為視頻幀樣本，所述視頻幀樣本為包含人臉信息的圖像；

針對所述第一樣本集中的每個視頻幀樣本，將每個所述視頻幀樣本劃分為多個圖像塊，并將所述多個圖像塊作為輸入，對所述第一自注意力模型進行單獨訓練，以輸出每個視頻幀樣本的第一樣本預測信息；

將對應于同一人臉視頻的第一樣本預測信息作為一個樣本，構建第二樣本集，并根據所述第二樣本集對所述第二自注意力模型進行單獨訓練；

將所述第一樣本集中屬于同一人臉視頻的視頻幀樣本作為一個樣本，構建第三樣本集，將所述第三樣本集輸入至所述人臉檢測模型中的第一自注意力模型，并將所述第一自注意力模型輸出的第一局部預測信息作為所述第二自注意力模型的輸入，以對單獨訓練后的第一自注意力模型和單獨訓練后的第二自注意力模型進行級聯訓練。