[發明專利]基于白盒攻擊的CTC場景文字識別模型優化方法

有效

• 申請號: 202010260338.6
• 申請日: 2020-04-03
• 公開（公告）號: CN111461239B
• 公開（公告）日: 2023-05-09
• 發明（設計）人: 徐行;肖金輝;陳杰夫;沈復民;申恒濤
• 申請（專利權）人: 成都考拉悠然科技有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/776;G06V20/62;G06V10/82;G06N3/084;G06N3/0464;G06N3/0442
• 代理公司: 成都君合集專利代理事務所(普通合伙) 51228
• 代理人: 尹新路

1.基于白盒攻擊的CTC場景文字識別模型優化方法，其特征在于：通過迭代更新擾動項進行CTC場景文字識別模型的對抗攻擊；

具體包括以下步驟：

步驟S1:獲取訓練好的CTC場景文字識別模型和待攻擊的圖片；

步驟S2:對CTC場景文字識別模型和待攻擊的圖片進行預處理；其中，預處理步驟中調整后的圖片記為；

步驟S3:構建作為整體變量的擾動項?，獲得對抗圖，根據攻擊方式設置標簽；

步驟S4:計算對抗圖在CTC場景文字識別模型上的損失函數，添加正則化項構成CTC場景文字識別模型的代價函數,并進行梯度反向傳播,計算代價函數對擾動項的梯度；

步驟S5:獲取梯度的單位向量并對擾動項進行更新，根據更新后的擾動項獲得最新的對抗圖，并對CTC場景文字識別模型進行攻擊；

步驟S6:根據步驟S5中最新的對抗圖對CTC場景文字識別模型進行攻擊，重復步驟S4、步驟S5、步驟S6,不斷迭代直到攻擊成功；

步驟S7:步驟S6中攻擊成功時，對對抗圖做反歸一化，得到正常的對抗圖；借助對抗圖優化CTC場景文字識別模型，增強CTC場景文字識別模型的健壯性和識別準確率；

所述步驟S3具體包括以下步驟：

步驟S31:根據調整后的圖片的尺寸構建尺寸相同的擾動項，并對擾動項進行初始化設置；

步驟S32:根據調整后的圖片和擾動項獲得對抗圖，記為；

步驟S33:根據攻擊方式設置圖像的標簽；如果是目標式攻擊，則標簽是目標字符序列，同時將攻擊標識記為；如果是非目標式攻擊，則標簽是圖片的真實標簽序列，同時將攻擊標識記為。

2.根據權利要求1所述的基于白盒攻擊的CTC場景文字識別模型優化方法，其特征在于：在迭代更新擾動項的過程中，對擾動項的梯度進行圖像像素值裁剪。

3.根據權利要求1所述的基于白盒攻擊的CTC場景文字識別模型優化方法，其特征在于：

所述步驟S2中對CTC場景文字識別模型進行預處理，是指固定模型結構和參數，使其在之后的模型對抗攻擊過程中模型結構和參數不變；

所述步驟S2中對待攻擊的圖片進行預處理，是指調整待攻擊的圖片的尺寸，并進行圖像歸一化處理。

4.根據權利要求1所述的基于白盒攻擊的CTC場景文字識別模型優化方法，其特征在于：所述步驟S4中使用L1范數正則化或L2范數正則化；

具體地，所述步驟S4具體包括以下步驟：

步驟S41:計算對抗圖在CTC場景文字識別模型上的損失函數；所述損失函數，記為；

步驟S42:根據攻擊方式對損失函數進行調整；

步驟S43:添加正則化項；所述正則化項，記為；

步驟S44:根據步驟S42調整后的損失函數和正則化項計算代價函數；所述代價函數，記為；

步驟S45:計算代價函數對擾動項的梯度。

5.根據權利要求4所述的基于白盒攻擊的CTC場景文字識別模型優化方法，其特征在于：所述步驟S44中代價函數的計算公式如下：

；

其中：，為代價函數；

，為損失函數；

，為正則化項；

，超參數。

6.根據權利要求5所述的基于白盒攻擊的CTC場景文字識別模型優化方法，其特征在于：所述步驟S5包括以下步驟：

步驟S51:梯度單位化；

步驟S52:進行擾動項更新；

步驟S53:修剪擾動項對應的擾動圖片的像素數值；

步驟S54:更新對抗圖。

7.根據權利要求6所述的基于白盒攻擊的CTC場景文字識別模型優化方法，其特征在于：所述步驟S6具體是指，根據步驟S54中更新后的對抗圖，對CTC場景文字識別模型進行攻擊：若攻擊不成功，則重復步驟S4、步驟S5、步驟S6；若攻擊成功，則跳轉至步驟S7。

8.根據權利要求1-7任一項所述的基于白盒攻擊的CTC場景文字識別模型優化方法，其特征在于：用于使用CTC的場景文字識別領域。