[發明專利]一種基于樣本增強的手寫樣本識別方法與系統

有效

• 申請號: 201811623758.5
• 申請日: 2018-12-28
• 公開（公告）號: CN109858488B
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 謝暢;錢浩然;徐寶函;周元笙;梅鵾
• 申請（專利權）人: 眾安信息技術服務有限公司
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/62;G06N3/04
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 顧友

本發明公開了一種基于樣本增強的手寫樣本識別方法與系統，其中方法包括：S1、生成標注樣本，標出圖像樣本中的手寫字符，將手寫字符從圖像樣本中裁切出來并歸類；S2、樣本增強，將標注樣本進行隨機變換生成變換后樣本，利用生成模型生成與變換后樣本同分布的增強樣本；S3、樣本合成，利用增強樣本生成訓練樣本；S4、模型訓練，利用訓練樣本訓練檢測分類模型以及手寫樣本識別模型；S5、識別應用，利用訓練好的檢測分類模型檢測出手寫字符的位置，然后再通過手寫樣本識別模型識別手寫字符。本發明通過增加訓練樣本的多樣性優化檢測分類模型與識別模型有效地克服了現有技術中離線手寫識別準確率較低，手寫識別樣本標注困難，模型提升緩慢的問題。

技術領域

本發明涉及文本圖像智能識別技術領域，特別涉及一種基于樣本增強的手寫樣本識別方法與系統。

背景技術

文本圖像主要指通過某種方式將紙質文檔轉化為圖像格式的文檔，文本圖像可能包含：表格、圖片、機打生成的字體甚至是手寫筆跡，手寫筆跡包括手寫字體以及手寫圖形等。一般來說，對于非手寫筆跡的圖像識別通常采用光學字符識別和深度神經網絡識別。對于手寫筆跡識別通常采用在線識別和離線識別的方式。所述在線識別主要指通過獲取手寫筆跡的筆畫順序、壓感等信息，通過模型判斷字跡內容，將可能的結果全部反饋給用戶，讓用戶做出選擇，完成輸入。與離線識別相比，在線識別模式有兩種優勢：1.在線識別蘊含的信息量更大；2.反饋多個結果讓用戶選擇，容錯性高。然而，絕大多數需要手寫識別的場景，只能進行離線識別，即獲取帶有手寫字跡的圖像信息，通過模型得到確定的結果，然后反饋。但是在現有的離線識別中由于手寫筆跡較通用字體而言缺乏統一標準，書寫者筆跡風格差異較大，筆跡潦草、連筆現象多見，導致識別率較低、手寫識別樣本標注困難，模型提升緩慢。

發明內容

為了解決現有技術的問題，本發明實施例提供了一種基于樣本增強的手寫樣本識別方法和系統，可用于帶有手寫字跡的圖像樣本的識別。所述技術方案如下：

一方面，本發明提供了一種基于樣本增強的手寫樣本識別方法，所述方法包括如下步驟：

S1、生成標注樣本，標出圖像樣本中的手寫字符，將所述手寫字符從所述圖像樣本中裁切出來并歸類；

S2、樣本增強，將所述標注樣本進行隨機變換生成變換后樣本，利用生成模型生成與所述變換后樣本同分布的增強樣本；

S3、樣本合成，利用所述增強樣本生成訓練樣本；

S4、模型訓練，利用所述訓練樣本并通過目標檢測模型訓練檢測分類模型；以及，利用所述訓練樣本并通過識別模型訓練手寫樣本識別模型；

S5、識別應用，利用訓練好的所述檢測分類模型檢測出所述手寫字符的位置，然后再通過手寫樣本識別模型識別所述手寫字符。

進一步地，所述步驟S2中將所述標注樣本進行隨機變換包括：對所述標注樣本的整體，和/或對除隨機固定所述標注樣本圖像的任意一個部分以外的其余部分進行隨機變換；所述隨機變換包括：透視變換、彈性扭曲、旋轉變換、平行四邊形變換、隨機裁剪、鏡像變換中的一種或多種，形成變換后樣本。

進一步地，所述步驟S2中利用生成模型生成與所述變換后樣本同分布的增強樣本具體包括以下步驟：

S21、利用所述變換后樣本，訓練所述生成模型；

S22、利用訓練后的生成模型生成所述增強樣本。

進一步地，所述步驟S3具體包括以下步驟：

S31、隨機抽取所述增強樣本中的所述手寫字符并將其拼接成字符串圖像；

S32、在所述字符串圖像中加入隨機噪聲；

S33、利用圖像融合算法，將加入所述隨機噪聲的字符串圖像與預先選定的背景融合；