[發明專利]一種基于多損失深度融合的人臉防偽方法

有效

• 申請號: 201910526316.7
• 申請日: 2019-06-18
• 公開（公告）號: CN110348320B
• 公開（公告）日: 2021-08-17
• 發明（設計）人: 朱榮;彭冬梅;胡瑞敏;楊敏;劉斯文;趙雅盺
• 申請（專利權）人: 武漢大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

1.一種基于多損失深度融合的人臉防偽方法，其特征在于，包括如下步驟：

步驟(1)，對視頻圖像進行預處理，截取視頻數據中的每一幀作為人臉圖像數據集；

步驟(2)，共享卷積層提取低層圖像特征，記輸入圖像為I_i，用尺度為n×n的卷積核對圖像I_i進行卷積處理，其中，圖像I_i的輸入通道數為3，卷積之后的輸出通道數為64；

步驟(3)，設置標志量flag，當標志量flag為local part時，調用多局部并行網絡學習輸入圖像的局部和微紋理特征；當標志量flag為global part時，調用全局網絡并采用ASPP結構進行多尺度特征學習；

步驟(3)中調用多局部并行網絡學習輸入圖像的局部和微紋理特征的具體實現方式如下，

步驟3.1.1，定位人臉關鍵點，切分局部人臉區域：通過人臉檢測標注出輸入人臉的特征部位，選取標注的關鍵點，以這些關鍵點為中心切取局部人臉，將人臉圖像被切分成m個部分，切分之后得到局部人臉區域集合其中表示第m個局部區域的特征映射；

步驟3.1.2，局部人臉區域特征學習：將集合中每一局部分別送入局部學習網絡中進行特征學習，得到每個局部區域的特征表示其中i表示第i個局部區域，θ_i表示第i個局部區域特征學習過程中的網絡參數；

步驟3.1.3，全連接層特征聯合，將步驟3.2學習得到的m個特征進行連接，然后采用若干個結點的全連接層對聯合特征進行融合，其中x_m表示第m個局部區域經全連接層之后的特征表示，d為結點的個數；

步驟3.1.4，采用LASSO正則進行特征篩選和融合；

記標簽為模型函數為f(w_L)＝X^Tw_L，則采用LASSO正則后使得在局部學習網絡稀疏處理區域的優化目標更新為：

其中，w_L表示訓練網絡中的權重參數，f(w_L)表示網絡從輸入對象X中學習得到的輸出，Y為數據標簽，λ是訓練中設置的參數，用來調整兩種損失的權重；

重新考慮網絡約束問題并將其表示為:

其中是一個對角矩陣，對應于Group LASSO的對應信息，其表達式如下所示：

其中是對應的分組信息，

由此可見，F依賴于W_L，而整個目標函數的最小化依賴于F、W_L，采用梯度下降算法來收斂網絡，在每次反向傳播中更新參數W_L，計算方法如下公式所示：

根據上述求解得到的W_L在網絡優化過程中不斷更新網絡參數；

步驟(4)，將學習得到的局部特征與全局特征進行融合，采用Softmax分類器進行分類；

步驟(5)，計算網絡損失，并采用Adam算法進行網絡的反向傳播訓練；

步驟(6)，輸出人臉圖像的預測結果Y_i。

2.如權利要求1所述的一種基于多損失深度融合的人臉防偽方法，其特征在于：步驟(3)中調用全局網絡學習人臉的多尺度特征的具體實現方式如下，

步驟3.2.1，提取圖像深層特征，將共享卷積層的輸出連接到全局學習網絡提取深層特征F；

步驟3.2.2，多尺度特征提取：分別利用多個尺度的空洞卷積核對步驟3.2.1的深層特征輸出F進行空洞卷積，不同尺度卷積核提取的特征進行同維度聯合輸出融合特征F_fusion；

步驟3.2.3，采用Global Average Pooling的方式，在融合特征F_fusion上的每一張特征圖上求平均，獲取該特征圖的表征v_i，所有特征圖進行GAP得到特征向量V＝[v₁，v₂，...，v_n]，將其作為全局學習網絡的特征輸出。

3.如權利要求1所述的一種基于多損失深度融合的人臉防偽方法，其特征在于：d的取值為512。

4.如權利要求2所述的一種基于多損失深度融合的人臉防偽方法，其特征在于：多個尺度的空洞卷積核分別為rate＝6,12,18,24的空洞卷積核。