[發明專利]一種車牌文字識別中的對抗攻擊方法、系統及存儲介質

在審

• 申請號: 202111397376.7
• 申請日: 2021-11-23
• 公開（公告）號: CN114202678A
• 公開（公告）日: 2022-03-18
• 發明（設計）人: 鄭霄龍;劉亮;張圣旺;馬華東;杜沛倫
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京金咨知識產權代理有限公司 11612
• 代理人: 岳燕敏

1.一種車牌文字識別中的對抗攻擊方法，其特征在于，所述方法包括：

獲取待攻擊車牌圖像；

將所述待攻擊車牌圖像輸入至CRNN模型，獲取所述待攻擊車牌圖像對應的N*T后驗概率矩陣，其中，N為RNN網絡預測到的字符集長度，T為RNN網絡預測到的序列數量；

確定需修改字符置信度的目標序列；

修改所述目標序列下的第一字符和第二字符對應的置信度，以生成攻擊目標矩陣；其中，所述第一字符為所述目標序列下的最大置信度值所對應的字符，所述第二字符為所述目標序列下的第二大置信度值所對應的字符；

基于所述后驗概率矩陣及所述攻擊目標矩陣判斷對所述待攻擊車牌的攻擊是否成功；

在攻擊成功的情況下，根據所述攻擊目標矩陣生成攻擊樣本圖像。

2.根據權利要求1所述的車牌文字識別中的對抗攻擊方法，其特征在于，所述方法還包括：

在攻擊失敗的情況下，利用梯度反向傳播算法更新所述CRNN模型接收的待攻擊車牌圖像。

3.根據權利要求1所述的車牌文字識別中的對抗攻擊方法，其特征在于，確定需修改字符置信度的目標序列，包括：

獲取所述后驗概率矩陣中各序列下的最大置信度值對應的各第三字符；

確定第三字符與相鄰兩個序列下的第三字符均不同的序列作為候選序列；

計算各候選序列下的第一字符的置信度值和第二字符的置信度值的各差值；

將所述各差值中的最小差值對應的序列作為目標序列。

4.根據權利要求1所述的車牌文字識別中的對抗攻擊方法，其特征在于，修改所述目標序列下的第一字符和第二字符對應的置信度，包括：

將所述第一字符的置信度值修改為0；

將所述第二字符的置信度值修改為1。

5.根據權利要求1所述的車牌文字識別中的對抗攻擊方法，其特征在于，基于所述后驗概率矩陣及所述攻擊目標矩陣判斷對所述待攻擊車牌的攻擊是否成功，包括：

基于損失函數計算所述后驗概率矩陣及所述攻擊目標矩陣的損失值；

判斷所述損失值是否小于預設閾值；

在所述損失值小于所述預設閾值的情況下，對所述待攻擊車牌攻擊成功；

在所述損失值大于所述預設閾值的情況下，對所述待攻擊車牌攻擊失敗。

6.根據權利要求5所述的車牌文字識別中的對抗攻擊方法，其特征在于，所述損失函數為交叉熵損失函數、均方誤差損失函數或平均絕對誤差損失函數。

7.根據權利要求2所述的車牌文字識別中的對抗攻擊方法，其特征在于，所述梯度反向傳播算法的計算公式為：

x_t+1＝x_t+ε·sign(J(f_θ(x),y))；

其中，x為待攻擊車牌圖像，f_θ(x)為CRNN模型輸出的后驗概率矩陣，ε為攻擊強度，y為攻擊目標矩陣，J表示后驗概率矩陣與攻擊目標矩陣根據損失函數求導的梯度，x_t表示第t次更新迭代產生的帶有干擾因素的車牌圖像。

8.根據權利要求2所述的車牌文字識別中的對抗攻擊方法，其特征在于，根據所述攻擊目標矩陣生成攻擊樣本圖像，包括：

基于所述梯度反向傳播算法的計算結果在當前次迭代過程中CRNN模型接收到的當前待攻擊車牌圖像中添加干擾像素；

將添加了干擾像素的車牌圖像作為攻擊樣本圖像。

9.一種車牌文字識別中的對抗攻擊系統，該系統包括處理器和存儲器，其特征在于，所述存儲器中存儲有計算機指令，所述處理器用于執行所述存儲器中存儲的計算機指令，當所述計算機指令被處理器執行時該系統實現如權利要求1至8中任意一項所述方法的步驟。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1至8中任意一項所述方法的步驟。