[發明專利]一種提高車牌攻擊魯棒性的對抗攻擊方法

有效

• 申請號: 201810188108.6
• 申請日: 2018-03-07
• 公開（公告）號: CN108491837B
• 公開（公告）日: 2021-12-17
• 發明（設計）人: 宣琦;繆永彪;陳晉音;劉毅;徐東偉
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/62
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

1.一種提高車牌攻擊魯棒性的對抗攻擊方法，其特征在于：所述方法包括如下步驟：

S1：按照中國車輛號牌標準，確定車牌底板尺寸、字體和字符間隔，按比例縮放制作常見的小型汽車號牌，將制作的車牌整理為標準車牌數據集，記為數據集O；

S2：采用opencv的仿射變換函數對制作的標準數據集O按照不同角度分段進行仿射變換，變換后的數據集記為數據集A；采用opencv的亮度變換函數對制作的標準數據集O按照不同亮度分段進行亮度變換，變換后的數據集記為數據集B；采用opencv的仿射變換函數和亮度變換函數對制作的標準數據集O按照隨機角度和亮度進行變換，變換后的數據集記為數據集C；

S3：構造一個由2個卷積層和1個全連接層構成的經典卷積神經網絡LeNet-5，并對車牌數據集O、A、B、C進行字符檢測與分割，然后用分割后的數據集訓練LeNet-5模型，確保使其能夠百分百準確識別無污染、無遮擋的車牌數據，將訓練完成后的LeNet-5模型結構和參數保存，以便之后評估攻擊效果時調用；

S4：參考數據集O的制作工藝，制作n張不重復的車牌，n為設定數量，采用對抗攻擊方法RP2生成對抗擾動，并添加到對應原始無污染、無遮擋的車牌數據上，然后打印所有數字對抗車牌樣本；在不同成像角度和光照強度下對打印的真實對抗車牌樣本進行拍攝，調用已訓練的車牌分類器LeNet-5對拍攝的數字對抗樣本進行識別。

2.如權利要求1所述的一種提高車牌攻擊魯棒性的對抗攻擊方法，其特征在于：所述步驟S1中，小型汽車號牌為全固定藍色車牌，使用車牌標準字體，車牌大小與間隔為實際車牌的1/68，車牌數據集制作各省級牌照縮寫，地區代號使用A～F字符，最后五位車牌為字母與數字混合的隨機字符車牌，一共制作12500個車牌數據，并記為數據集O。

3.如權利要求1或2所述的一種提高車牌攻擊魯棒性的對抗攻擊方法，其特征在于：所述步驟S2中，采用opencv的仿射變換函數對制作的標準數據集O按照不同角度分段進行仿射變換，變換后的數據集記為數據集A；該函數只需要已知旋轉中心坐標、旋轉角度、放縮比例以及返回旋轉/放縮矩陣；

采用opencv的亮度變換對制作的標準數據集O按照不同亮度分段進行亮度變換，變換后的數據集記為數據集B，亮度變換記為：

g(i,j)＝α·f(i,j)

公式中的i，j是圖像中像素點的橫縱坐標，α是比例系數，也叫做增益參數。

4.如權利要求1或2所述的一種提高車牌攻擊魯棒性的對抗攻擊方法，其特征在于：所述步驟S3中，采用opencv的庫函數，對數據集O、A、B、C中所有數據進行灰度化，二值化操作，然后分析出車牌中每個字符的分割圖塊，并將分割后的字符與其對應標簽整理成數據集，記為數據集I；從數據集I中隨機取出80％作為訓練集，其余20％作為測試集。構建一個經典卷積神經網絡LeNet-5，它由2個卷積層、2個下采樣層和1個全連接層組成，然后將訓練集作為輸入訓練LeNet-5模型，最終在測試集上測得的精度為100％，即模型已經訓練完成；將訓練完成后的LeNet-5模型結構和參數保存，以便之后評估攻擊效果時調用。

5.如權利要求1或2所述的一種提高車牌攻擊魯棒性的對抗攻擊方法，其特征在于：所述步驟S4中，參考數據集O的制作方法，制作n張不重復的車牌作為評估的無污染、無遮擋車牌數據；RP2算法搜索特定物理區域將一個擾動δ添加到原始輸入，詳細說明如下：

x′＝x+δ

上式中，x′表示對抗樣本，即分類器對輸入x′誤分類，x表示為原始的無污染、無遮擋輸入，δ表示為擾動；RP2算法的目標是要找到一個最小的擾動δ，使得分類器對對抗樣本x′誤分類，為了生成魯棒性較高的對抗樣本，構建初始化無靶向攻擊的目標函數如下：

初始化有靶向攻擊的目標函數是：

在這里，λ是正則化超參數的變形，||δ||_p表示δ的p范數，用來衡量δ的擾動大小，y表示為輸入x的真實標簽，y*表示為標簽的目標類，J(·)是模型的損失函數，用以衡量目標類別與對抗樣本類別的距離；

NPS(δ)定義為不可打印性分數，公式如下：

綜合上述所有公式，無靶向攻擊的目標函數如下：

有靶向攻擊的目標函數是：

選定目標函數后，經過訓練生成對抗擾動，并添加到對應原始無污染、無遮擋的車牌數據上，即制作完成n張對抗樣本，然后打印所有數字對抗車牌樣本；在不同成像角度和光照強度下對打印的真實對抗車牌樣本進行拍攝，調用已訓練的車牌分類器LeNet-5對拍攝的數字對抗樣本進行識別，評估生成的對抗樣本的效果。