[發明專利]一種具有憑證識別功能的歸一化方法

在審

• 申請號: 202110326758.4
• 申請日: 2021-03-26
• 公開（公告）號: CN112861079A
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 張衛明;俞能海;張杰;陳冬冬;廖菁;華剛
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06F21/10
• 分類號: G06F21/10;G06F21/16;G06K9/62
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 張乾楨

1.一種具有憑證識別功能的歸一化方法、其特征在于，包括如下步驟：

步驟1、建立模型性能與正確憑證之間的關系，利用仿射變換的分布調制，將仿射變換參數γ、β改變為憑證的函數；如果向目標模型輸入不正確的憑證，生成的仿射變換參數也會不正確，使模型工作異常；學習另一組仿射變換參數γ₀、β₀，用于模型的原始任務；

步驟2、在模型訓練中引入憑證時，相應的統計量進行獨立計算，其公式如下：

該公式包括兩個分支，其中第二個分支作為憑證識別分支，對于全連接層后的歸一化，第二個分支將計算自己的歸一化統計量μ₁，σ₁，并分別學習基于憑證p_γ、p_β的仿射變換參數γ、β。

2.根據權利要求1所述的一種具有憑證識別功能的歸一化方法，其特征在于，所述步驟2中，包括如下步驟：

設計可學習的γ₁，β₁，他們也和原始模型的權重相關，即：

γ₁(p_γ)＝w₂^Tg(w₁^T(wp_γ)),

β₁(p_γ)＝w₂^Tg(w₁^T(wp_β)),

式中表示卷積運算符，W_c是前一卷積層的核權重。對于全連接層之后的歸一化層，將被替換為W_c^Tp_x，GAP表示全局平均池化，它將卷積后的憑證轉換成與γ₁，β₁形狀相同的向量；w1，w2是要學習的兩個全連接層的權重，g是非線性激活函數，默認使用Leakly-ReLU函數；p_γ、p_β為預先定義的憑證，P_x代指p_γ、p_β。

3.根據權利要求1所述的一種具有憑證識別功能的歸一化方法，其特征在于，在訓練目標模型時，采用交替訓練策略，首先為每個歸一化層預先定義憑證p_γ、p_β，然后交替訓練無憑證的分支和有憑證識別的分支。