[發明專利]一種文本檢測攻擊方法

在審

• 申請號: 202110403509.0
• 申請日: 2021-04-15
• 公開（公告）號: CN113283418A
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 陳力軍;劉佳;唐嘯晨;汪付星
• 申請（專利權）人: 南京大學;江蘇圖客機器人有限公司
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/34;G06K9/62;G06N3/08
• 代理公司: 蘇州創元專利商標事務所有限公司 32103
• 代理人: 陳晨;郭小紅

本發明涉及一種文本檢測攻擊方法，其中，基于場景文本檢測的目標任務，形成含有文本區域的第一圖像，所述方法包括：在第一圖像上添加規則形狀的涂鴉區域得到第二圖像；對所述第二圖像進行隨機透視變換獲得若干不同視角和距離下的第三圖像，對第三圖像添加隨機噪聲和背景形成第四圖像組成訓練集；將所述訓練集輸入到文本檢測網絡模型中；根據第四圖像其上區域的不同將其劃分為涂鴉區域、文本區域及背景區域，并在相應區域覆蓋對應掩膜；對不同區域分別執行不同的損失函數計算以實現對文本檢測模型的攻擊。本發明的攻擊方法能夠減少涂鴉的可見性同時使訓練集具有一定攻擊性，為文本檢測模型的進一步改進提高參考。

技術領域

本發明涉及深度學習算法領域，具體涉及一種文本檢測攻擊方法。

背景技術

深度學習是在計算機視覺、自然語言處理等領域廣泛使用的一種技術，屬于機器學習范圍內，具體是以神經網絡為基本結構，從數據中提取特征的算法。

相對于OCR(Optical Character Recognition,光學字符識別)而言，場景文本檢測所針對的對象是自然場景下的物體圖片(包含文本區域)，識別難度較高。由于場景文本檢測在自動駕駛，機器人導航等眾多領域均有應用，且通常均是采用深度學習算法來實現上述文本檢測的目的，因此，基于場景文本檢測背景下進一步改進深度學習算法具有重要意義，而通過對深度學習模型進行攻擊可以達到改進深度學習算法的目的，上述攻擊需要將訓練集輸入到深度學習模型中。現有技術中，尚未存在基于場景文本檢測任務下對文本檢測模型(屬于深度學習領域)進行攻擊的方法。

發明內容

為了克服現有技術中存在的問題，本發明提供一種文本檢測攻擊方法，能夠減少涂鴉的可見性同時使訓練集具有一定攻擊性，為文本檢測模型的進一步改進提高參考。

基于上述目的，本發明的技術方案如下：

一種文本檢測攻擊方法，其中，基于場景文本檢測的目標任務，形成含有文本區域的第一圖像，所述方法包括：在第一圖像上添加規則形狀的涂鴉區域得到第二圖像；對所述第二圖像進行隨機透視變換獲得若干不同視角和距離下的第三圖像，對第三圖像添加隨機噪聲和背景形成第四圖像組成訓練集；將所述訓練集輸入到文本檢測網絡模型中；根據第四圖像其上區域的不同將其劃分為涂鴉區域、文本區域及背景區域，并在相應區域覆蓋對應掩膜；對不同區域分別執行不同的損失函數計算以實現對文本檢測模型的攻擊。

其中，所述涂鴉區域包括第一涂鴉區域與第二涂鴉區域，其分別設置在第一圖像中文本區域的上下兩側。

其中，所述文本檢測網絡模型為EAST。

其中，所述損失函數包括對所述涂鴉區域進行訓練的第一損失函數；對所述文本區域進行訓練的第二損失函數以及基于人類視覺系統對涂鴉強度進行評估的第三損失函數。

其中，所述第三損失函數包括：所述第四圖像與所述第一圖像之間的顏色差異函數；所述第四圖像的邊緣信息評估函數及其紋理信息評估函數。

其中，所述邊緣信息評估函數為梯度函數；所述紋理信息評估函數為顏色空間方差函數。

本發明具有以下有益效果：

本發明方法通過在第一圖像上添加規則形狀的涂鴉區域再對其進行隨機透視變換處理，并添加隨機噪聲和背景形成若干不同視角和距離下的第四圖像，組成訓練集；用此方法生成的訓練集使得第四圖像中的文本依舊可讀；接著，將上述生成的訓練集輸入至文本檢測模型中，通過對第四圖像中的涂鴉區域執行第一損失函數，對文本區域執行第二損失函數，并使用第三損失函數評估涂鴉對第一圖像的干擾強度，能夠減少涂鴉的可見性同時使訓練集具有一定攻擊性，為文本檢測模型的進一步改進提高參考。

下文將結合附圖對本發明具體實施例的詳細描述，本領域技術人員將會更加明了本發明的上述以及其他目的、優點和特征。

附圖說明