[發(fā)明專利]一種面向場景文本識別的數(shù)據(jù)增強方法、系統(tǒng)及終端

在審

• 申請?zhí)枺?/td>: 202011040208.8
• 申請日: 2020-09-28
• 公開（公告）號: CN112149681A
• 公開（公告）日: 2020-12-29
• 發(fā)明（設(shè)計）人: 戴濤;孟廣浩;夏樹濤;江勇;查華;汪漪
• 申請（專利權(quán)）人: 鵬城實驗室;清華大學(xué)深圳國際研究生院
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/36;G06K9/62;G06N3/02
• 代理公司: 深圳市君勝知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44268
• 代理人: 陳專

1.一種面向場景文本識別的數(shù)據(jù)增強方法，其特征在于，所述面向場景文本識別的數(shù)據(jù)增強方法包括：

將輸入樣本輸入到數(shù)據(jù)增強器，所述數(shù)據(jù)增強器根據(jù)所述輸入樣本自適應(yīng)地選擇形變類型；

所述數(shù)據(jù)增強器根據(jù)選擇的形變類型對所述輸入樣本進行形變處理以生成增強樣本；

將所述輸入樣本和所述增強樣本輸入到場景文本識別器進行識別，所述場景文本識別器根據(jù)識別結(jié)果輸出損失函數(shù)，并反饋給所述數(shù)據(jù)增強器；

所述數(shù)據(jù)增強器根據(jù)所述損失函數(shù)生成增強樣本。

2.根據(jù)權(quán)利要求1所述的面向場景文本識別的數(shù)據(jù)增強方法，其特征在于，所述形變類型包括：仿射形變和彈性形變。

3.根據(jù)權(quán)利要求2所述的面向場景文本識別的數(shù)據(jù)增強方法，其特征在于，所述仿射形變用于對所述輸入樣本進行線性變換來保持樣本的親和力；

所述彈性形變用于對所述輸入樣本進行非線性變換來提高樣本的局部多樣性。

4.根據(jù)權(quán)利要求1-3任一項所述的面向場景文本識別的數(shù)據(jù)增強方法，其特征在于，所述將輸入樣本輸入到數(shù)據(jù)增強器，所述數(shù)據(jù)增強器根據(jù)所述輸入樣本自適應(yīng)地選擇形變類型，具體包括：

將所述輸入樣本輸入至預(yù)測網(wǎng)絡(luò)中，所述預(yù)測網(wǎng)絡(luò)對所述輸入樣本進行特征提取，并得到仿射形變和彈性形變兩個通路分別對應(yīng)的分?jǐn)?shù)值；

比較仿射形變和彈性形變兩個通路對應(yīng)的分?jǐn)?shù)值的大小，選擇分?jǐn)?shù)值大作為形變類型。

5.根據(jù)權(quán)利要求1所述的面向場景文本識別的數(shù)據(jù)增強方法，其特征在于，所述將所述輸入樣本和所述增強樣本輸入到場景文本識別器進行識別，具體包括：

所述場景文本識別器將所述輸入樣本和所述增強樣本的圖片輸入到神經(jīng)網(wǎng)絡(luò)；

所述神經(jīng)網(wǎng)絡(luò)提取圖片序列特征，對所述圖片序列特征進行分類識別，得到識別的字符序列和損失函數(shù)。

6.根據(jù)權(quán)利要求1所述的面向場景文本識別的數(shù)據(jù)增強方法，其特征在于，所述損失函數(shù)為對抗控制損失函數(shù)。

7.根據(jù)權(quán)利要求1所述的面向場景文本識別的數(shù)據(jù)增強方法，其特征在于，所述面向場景文本識別的數(shù)據(jù)增強方法還包括：

所述數(shù)據(jù)增強器根據(jù)所述輸入樣本的特征和所述場景文本識別器反饋的損失函數(shù)選擇形變類型。

8.一種面向場景文本識別的數(shù)據(jù)增強系統(tǒng)，其特征在于，所述面向場景文本識別的數(shù)據(jù)增強系統(tǒng)包括：

數(shù)據(jù)增強器和場景文本識別器；

所述數(shù)據(jù)增強器包括：

選通模塊，用于接收輸入樣本，并根據(jù)所述輸入樣本自適應(yīng)地選擇形變類型；

仿射形變模塊，用于對所述輸入樣本進行線性變換生成增強樣本，以保持樣本的親和力；

彈性形變模塊，用于對所述輸入樣本進行非線性變換生成增強樣本，以提高樣本的局部多樣性；

所述場景文本識別器用于對所述輸入樣本和所述增強樣本進行識別，根據(jù)識別結(jié)果輸出損失函數(shù)，并反饋給所述數(shù)據(jù)增強器；

所述數(shù)據(jù)增強器還用于根據(jù)所述損失函數(shù)生成增強樣本。

9.一種終端，其特征在于，所述終端包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的面向場景文本識別的數(shù)據(jù)增強程序，所述面向場景文本識別的數(shù)據(jù)增強程序被所述處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-7任一項所述的面向場景文本識別的數(shù)據(jù)增強方法的步驟。

10.一種存儲介質(zhì)，其特征在于，所述存儲介質(zhì)存儲有面向場景文本識別的數(shù)據(jù)增強程序，所述面向場景文本識別的數(shù)據(jù)增強程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-7任一項所述的面向場景文本識別的數(shù)據(jù)增強方法的步驟。