[發明專利]一種車牌文字識別中的對抗攻擊方法、系統及存儲介質

在審

• 申請號: 202111397376.7
• 申請日: 2021-11-23
• 公開（公告）號: CN114202678A
• 公開（公告）日: 2022-03-18
• 發明（設計）人: 鄭霄龍;劉亮;張圣旺;馬華東;杜沛倫
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京金咨知識產權代理有限公司 11612
• 代理人: 岳燕敏

本發明提供一種車牌文字識別中的對抗攻擊方法、系統及存儲介質，所述方法包括：獲取待攻擊車牌圖像；將所述待攻擊車牌圖像輸入至CRNN模型，獲取待攻擊車牌圖像對應的N*T后驗概率矩陣；確定需修改字符置信度的目標序列；修改目標序列下的第一字符和第二字符對應的置信度，以生成攻擊目標矩陣；其中，第一字符為目標序列下的最大置信度值所對應的字符，所述第二字符為目標序列下的第二大置信度值所對應的字符；基于后驗概率矩陣及攻擊目標矩陣判斷對所述待攻擊車牌的攻擊是否成功；在攻擊成功的情況下，根據攻擊目標矩陣生成攻擊樣本圖像。該對抗攻擊方法降低了車牌圖像的攻擊難度，減少了迭代次數，提高了對抗攻擊速率。

技術領域

本發明涉及圖像及文字識別技術領域，尤其涉及一種車牌文字識別中的對抗攻擊方法、系統及存儲介質。

背景技術

文字識別是根據輸入的圖片信息，識別圖像中文字的一種圖像識別系統；在文字識別領域中，主流的識別方法有CRNN(卷積和循環神經網絡)，目標檢測等方法。CRNN是一種深度學習模型，通過組合CNN神經網絡和RNN神經網絡提取圖片特征以及文字序列特征，其首先利用CNN網絡提取文字的圖像特征，再在CNN提取卷積特征的基礎上利用RNN繼續提取文字序列特征；其中CNN是一種用于處理二維數據的多層神經網絡，通過卷積核以及池化激活操作等來提取圖像中的形狀紋理等特征；在CNN網絡提取的特征的基礎上，使用RNN(循環神經網絡)提取由前一層抽取出的圖像特征中的序列信息，可輸出產生的固定長度的序列信息。

由于神經網絡極易受到對抗樣本的攻擊，攻擊者通過在圖像或者檢測目標上添加一些微小的擾動，就能導致神經網絡學習到不準確的特征，最終得到錯誤的預測結果，該過程稱之為“對抗攻擊”，其中對抗樣本是干凈圖像的修改版本，它被故意干擾(例如通過添加噪聲)來愚弄機器學習技術，如深層神經網絡。根據攻擊效果，可以將對抗攻擊分為有目標攻擊和無目標攻擊，有目標攻擊即將模型的預測結果愚弄為指定目標為攻擊成功，而無目標攻擊只需要將模型的預測結果愚弄為錯誤即為成功。在現有技術中，一般是基于FGSM，PGD等算法通過迭代的方式對神經網絡進行對抗攻擊，而在車牌識別應用場景下，由于車牌圖像中字符集少，模型較為魯棒，對攻擊不太敏感，因而在車牌識別領域現有的對抗攻擊方法存在如下缺點：(1)迭代次數多，訓練階段使用的CTCloss，計算成本高，需要對CRNN網絡輸出的中間變量與攻擊目標做映射，處理時間長。(2)攻擊效果差，表現為需要修改的圖片像素過多，產生出的對抗結果與預期差距過大，如車牌位數減少等。因此，如何降低車牌識別的對抗攻擊難度、減少迭代次數以及提高對抗攻擊速率是亟待解決的技術問題。

發明內容

有鑒于此，本發明提供了一種車牌文字識別中的對抗攻擊方法、系統及存儲介質，以解決現有技術中存在的一個或多個問題。

根據本發明的一個方面，本發明公開了一種車牌文字識別中的對抗攻擊方法，所述方法包括：

獲取待攻擊車牌圖像；

將所述待攻擊車牌圖像輸入至CRNN模型，獲取所述待攻擊車牌對應的N*T后驗概率矩陣，其中，N為RNN網絡預測到的字符集長度，T為RNN網絡預測到的序列數量；

確定需修改字符置信度的目標序列；

修改所述目標序列下的第一字符和第二字符對應的置信度，以生成攻擊目標矩陣；其中，所述第一字符為所述目標序列下的最大置信度值所對應的字符，所述第二字符為所述目標序列下的第二大置信度值所對應的字符；

基于所述后驗概率矩陣及所述攻擊目標矩陣判斷對所述待攻擊車牌的攻擊是否成功；

在攻擊成功的情況下，根據所述攻擊目標矩陣生成攻擊樣本圖像。

在本發明的一些實施例中，所述方法還包括：

在攻擊失敗的情況下，利用梯度反向傳播算法更新所述CRNN模型接收的待攻擊車牌圖像。