[發(fā)明專利]一種用于抵抗光學字符識別系統(tǒng)的防御方法

在審

• 申請?zhí)枺?/td>: 202310243180.5
• 申請日: 2023-03-14
• 公開（公告）號: CN116308982A
• 公開（公告）日: 2023-06-23
• 發(fā)明（設(shè)計）人: 鄧佳程;董理;王讓定;嚴迪群;陳佳豪
• 申請（專利權(quán)）人: 寧波大學
• 主分類號: G06T1/00
• 分類號: G06T1/00;G06V30/19
• 代理公司: 寧波誠源專利事務(wù)所有限公司 33102
• 代理人: 袁忠衛(wèi);方寧

本發(fā)明涉及一種用于抵抗光學字符識別系統(tǒng)的防御方法，包括：從訓練集中隨機抽取訓練樣本，對從訓練樣本集中的訓練樣本進行縮放處理，得到Rsubgt;1/subgt;(xsubgt;i/subgt;)；構(gòu)建底色塊psubgt;t/subgt;，并將psubgt;t/subgt;平鋪至與Rsubgt;1/subgt;(xsubgt;i/subgt;)一樣的大小，得到防御性底色塊將與訓練樣本集中的訓練樣本進行融合，得到防御性文本圖像；接著采用對防御性文本圖像和防御性底色塊進行縮放，并將其均輸入到場景文本檢測器中，得到預(yù)測概率圖；最后根據(jù)最終的損失計算得到梯度，以更新當前的底色塊；測試時，將最終的底色塊平鋪至與測試樣本相同的大小，并將測試樣本的防御性底色塊與測試樣本進行融合，得到測試樣本的防御性文本圖像。該方法不修改文字像素的，并且具備魯棒性。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種用于抵抗光學字符識別系統(tǒng)的防御方法。

背景技術(shù)

光學字符識別(Optical?Character?Recognition，簡稱：OCR)旨在從數(shù)字圖像中提取文本，已廣泛應(yīng)用于各種商業(yè)場景，如文本翻譯、場景文本編輯、文檔識別等。然而，強大的OCR功能也為盜版者從文本圖像中竊取大量有價值或敏感的文本提供了便利，威脅到版權(quán)或隱私。例如：許多網(wǎng)站提供非免費文本服務(wù)，如付費小說、文檔或博客，這些文本可讀但不可傳播，他們經(jīng)常禁用網(wǎng)頁JavaScript或采用反爬蟲機制來保護文本版權(quán)；然而盜版者可以利用OCR系統(tǒng)來發(fā)動非侵入性攻擊，從而更加容易的批量盜取文字版權(quán)。

隨著深度學習在各研究領(lǐng)域大方異彩的同時，也帶來了很多安全問題，研究人員們發(fā)現(xiàn)，對輸入的數(shù)據(jù)進行一些人無法察覺的改變就可以使得模型失效(即分類/識別錯誤)，這種數(shù)據(jù)被稱為對抗樣本。對抗樣本是指在數(shù)據(jù)集中通過故意添加細微的干擾所形成的輸入樣本，導(dǎo)致模型以高置信度給出一個錯誤的輸出。近年來，針對各種數(shù)據(jù)的對抗樣本層出不窮，常見的包括人臉識別，惡意代碼識別，說話人識別，目標檢測等等。而隨著OCR系統(tǒng)的普及，受保護的文字版權(quán)信息越來越容易受到OCR的盜竊。因此，迫切需要通過對抗攻擊的方式幫助文字抵抗OCR，以實現(xiàn)文字版權(quán)保護。

現(xiàn)有基于深度學習的OCR過程由兩個順序的步驟組成，即場景文本檢測以及場景文本識別。其中場景文本檢測用于定位文字的位置，然后提取定位區(qū)域的文本圖像并輸入到場景文本識別中進行識別對應(yīng)的文字，最后根據(jù)文字的定位復(fù)原所有文本的順序。故現(xiàn)有對抗OCR的攻擊模式分為兩種，一種是針對場景文字檢測器的對抗攻擊，通過對文字區(qū)域或者整幅圖像的所有像素添加擾動使得文字無法被檢測器檢測到；另一種是針對場景文字識別器的對抗攻擊，使得文字識別出錯誤的內(nèi)容。上述工作雖然可以在受控的實驗室環(huán)境中欺騙OCR，但在實際應(yīng)用中卻面臨如下障礙：

1)缺少通用性：目前針對OCR的對抗攻擊需要對每一張圖像生成一個專門的擾動才能完成對OCR的愚弄效果，而實際場景中，每個網(wǎng)頁或者文檔的文字都不相同，對于每個網(wǎng)頁都生成對抗樣本是不現(xiàn)實的。并且對于文本版權(quán)所有者，存儲文本及其相應(yīng)的擾動會引起額外的存儲。而存儲海量的文字對應(yīng)的擾動是文字版權(quán)所有者不可接受的；

2)缺少擴展性：現(xiàn)有的大部分作品是不可擴展的。即使成功地生成了一個通用的對抗例子，它也不能應(yīng)用于任意大小的網(wǎng)頁或文檔；

3)視覺質(zhì)量差：目前的對抗OCR的攻擊經(jīng)常修改字符的像素來欺騙OCR系統(tǒng)，影響文本的視覺質(zhì)量；

4)缺少魯棒性：目前的工作都沒有認真考慮圖像縮放操作的魯棒性，這是一種在實際場景中經(jīng)常使用的操作，可能會消除對抗攻擊的影響。因為對抗樣本通常是比較脆弱的，對多抗樣本進行縮放會破壞對抗樣本的效果，從而無法保護文字版權(quán)。

為此，需要對現(xiàn)有技術(shù)作進一步的改進。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是針對上述現(xiàn)有技術(shù)，而提供一種不修改文字像素的，并且具備魯棒性的用于抵抗光學字符識別系統(tǒng)的防御方法。