[發明專利]一種面向場景文本識別的數據增強方法、系統及終端

在審

• 申請號: 202011040208.8
• 申請日: 2020-09-28
• 公開（公告）號: CN112149681A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 戴濤;孟廣浩;夏樹濤;江勇;查華;汪漪
• 申請（專利權）人: 鵬城實驗室;清華大學深圳國際研究生院
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/36;G06K9/62;G06N3/02
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 陳專

本發明公開了一種面向場景文本識別的數據增強方法、系統及終端，所述方法包括：將輸入樣本輸入到數據增強器，所述數據增強器根據所述輸入樣本自適應地選擇形變類型；所述數據增強器根據選擇的形變類型對所述輸入樣本進行形變處理以生成增強樣本；將所述輸入樣本和所述增強樣本輸入到場景文本識別器進行識別，所述場景文本識別器根據識別結果輸出損失函數，并反饋給所述數據增強器；所述數據增強器根據所述損失函數生成增強樣本。本發明通過數據增強器根據輸入樣本的性質和場景文本識別器的能力自適應地生成合適的增強樣本，實現了數據增強器和場景文本識別器的聯合優化，通過數據增強方法來平衡樣本的多樣性和親和性。

技術領域

本發明涉及計算機應用技術領域，尤其涉及一種面向場景文本識別的數據增強方法、系統及終端。

背景技術

目前，基于深度學習的模型一般都需要使用大量的數據來進行訓練以達到較好的效果，但是現有數據量有限導致模型性能存在瓶頸，一種成本較低的解決方式是數據增強，數據增強就是要對原始樣本進行一系列的操作產生新的樣本。

現有的數據增強方法可以分為仿射形變和彈性形變兩類。仿射形變方法包括圖像旋轉、平移和縮放等，如圖1(圖1中的a)所示，仿射形變可以增強樣本的親和性(親和性是指生成樣本和原始樣本的分布差異)，這種仿射形變的方法迫使整個圖像執行相同的變換，從而增加文本圖像的全局多樣性。但是，沒有考慮到每個字符的形狀多樣性，因而存在著多樣性不足的問題。

彈性形變可以提高每個字符的多樣性，然而，這種彈性形變對場景文本圖像也存在一些缺陷。例如，由于某些字符(例如“O”和“D”)之間的模式相似，彈性形變可以將一個字符轉換為另一個字符，如圖1(圖1中的b)所示，彈性形變使“A133”上的“1”變形到“7”。此外，場景文本通常以一致的樣式打印每個字符。因此，彈性形變可能會受到場景文本圖像的過度多樣性問題的影響，從而損害文本識別器的性能。

因此，現有技術還有待于改進和發展。

發明內容

本發明的主要目的在于提供一種面向場景文本識別的數據增強方法、系統及終端，旨在解決現有技術中由于文本內容和形狀的復雜性，現有的場景文本圖像數據擴充策略存在著多樣性不足和過度多樣性的問題。

為實現上述目的，本發明提供一種面向場景文本識別的數據增強方法，所述面向場景文本識別的數據增強方法包括如下步驟：

將輸入樣本輸入到數據增強器，所述數據增強器根據所述輸入樣本自適應地選擇形變類型；

所述數據增強器根據選擇的形變類型對所述輸入樣本進行形變處理以生成增強樣本；

將所述輸入樣本和所述增強樣本輸入到場景文本識別器進行識別，所述場景文本識別器根據識別結果輸出損失函數，并反饋給所述數據增強器；

所述數據增強器根據所述損失函數生成增強樣本。

可選地，所述的面向場景文本識別的數據增強方法，其中，所述形變類型包括：仿射形變和彈性形變。

可選地，所述的面向場景文本識別的數據增強方法，其中，所述仿射形變用于對所述輸入樣本進行線性變換來保持樣本的親和力；

所述彈性形變用于對所述輸入樣本進行非線性變換來提高樣本的局部多樣性。

可選地，所述的面向場景文本識別的數據增強方法，其中，所述將輸入樣本輸入到數據增強器，所述數據增強器根據所述輸入樣本自適應地選擇形變類型，具體包括：

將所述輸入樣本輸入至預測網絡中，所述預測網絡對所述輸入樣本進行特征提取，并得到仿射形變和彈性形變兩個通路分別對應的分數值；

比較仿射形變和彈性形變兩個通路對應的分數值的大小，選擇分數值大作為形變類型。