[發明專利]基于手寫字體識別的方法及識別系統

在審

• 申請號: 202310658892.3
• 申請日: 2023-06-06
• 公開（公告）號: CN116416628A
• 公開（公告）日: 2023-07-11
• 發明（設計）人: 徐丹;白世亮
• 申請（專利權）人: 廣州宏途數字科技有限公司
• 主分類號: G06V30/19
• 分類號: G06V30/19;G06V10/10;G06V10/32;G06V30/18;G06V10/764;G06V10/82;G06N3/0464;G06N3/08;G06T3/00
• 代理公司: 廣州君咨知識產權代理有限公司 44437
• 代理人: 李平

本發明涉及文字識別技術領域，具體涉及一種基于手寫字體識別的方法及識別系統，包括，步驟S1，文字采集模塊采集不同的手寫字體圖像；步驟S2，數據準備模塊將所述目標圖像和所述風格圖像輸送至數據預處理模塊；步驟S3，數據預處理模塊將各所述轉換后圖像和各所述掩碼圖輸送至模型訓練模塊；步驟S4，所述模型訓練模塊在接收到各所述轉換后圖像和各所述掩碼圖時進行圖像遷移融合處理以得到最優參數模型并將最優參數模型；步驟S5，批量生成數據模塊進行批量數據生成處理以生成風格遷移后的目標圖像數據，完成手寫字體識別。克服現有技術中在對離線手寫字體識別時無法對文字圖像進行風格遷移處理時保留目標圖像顏色導致針對文字識別精度低。

技術領域

本發明設計文字識別技術領域，具體涉及一種基于手寫字體識別的方法及識別系統。

背景技術

手寫字體識別可分為在線識別和離線識別，在線字體識別是指在通過觸摸屏等輸入設備手寫字體過程中，計算機根據書寫字體的筆畫走向、筆畫順序、書寫速度等多種信息進行識別，由于信息量多且具有連續性，因此識別難度較小，識別準確率也較高。離線字體識別提供的信息量少，僅僅通過識別一個字體的二維圖像來提取字體特征，所以識別難度較大，識別準確率也較低。

目前，基于深度學習的計算機視覺技術不斷發展，大量研究采用基于深度學習的方法來識別手寫文字，但是，深度學習算法需要大量手寫文字數據訓練網絡。數據集圖像的數量和數據集的針對性往往決定了檢測網絡的準確度和泛化能力。但是，由于圖像識別文字的情況千變萬化，對于圖像的清晰度，圖像內文字的風格、顏色、部分缺失等情況。

圖像風格遷移技術，就是通過將風格圖像和目標圖像中的風格和內容進行分離，將風格圖像中的風格與目標圖像的內容進行重新組合，從而生成一張具有風格圖像風格的目標圖像。現有的風格遷移網絡主要分為兩個部分，一是基于卷積神經網絡的風格遷移，核心運用到VGG19網絡；二是基于對抗神經網絡的風格遷移。前者具有遷移穩定，效果好的優點，遷移速度慢的缺點，后者具有遷移速度快的優點，缺點是無法處理圖像形狀發生改變的情況。

基于上述，提出一種基于手寫字體識別的方法及識別系統。

發明內容

為此，本發明提供一種基于手寫字體識別的方法及識別系統，用以克服現有技術中在對離線手寫字體識別時無法對文字圖像進行風格遷移處理時保留目標圖像顏色導致針對文字識別精度低的問題。

一方面，本發明提供一種基于手寫字體識別的方法，包括：

步驟S1，文字采集模塊采集不同的手寫字體圖像并輸送至數據準備模塊；

步驟S2，所述數據準備模塊將用以遷移風格的手寫字體圖像記為目標圖像，數據準備模塊選取字體庫圖像，將其記為風格圖像并將該風格圖像的風格作為目標圖像風格遷移后的風格標準；所述數據準備模塊將所述目標圖像和所述風格圖像輸送至數據預處理模塊；

步驟S3，所述數據預處理模塊對所述風格圖像進行裁切處理以使風格圖像的尺寸與所述目標圖像尺寸相同，數據預處理模塊在完成對風格圖像的裁切后依次制作針對風格圖像和目標圖像的掩碼圖并對各圖像進行顏色格式轉換處理；所述數據預處理模塊將各轉換后圖像和各所述掩碼圖輸送至模型訓練模塊；

步驟S4，所述模型訓練模塊在接收到各所述轉換后圖像和各所述掩碼圖時進行圖像遷移融合處理以得到最優參數模型并將最優參數模型輸送至批量生成數據模塊；

步驟S5，所述批量生成數據模塊在接收到所述最優參數模型后進行批量數據生成處理以生成風格遷移后的目標圖像數據，完成手寫字體識別。

進一步地，在所述步驟S3中，所述數據預處理模塊對所述風格圖像和所述目標圖像的預處理過程包括：

步驟S31，所述數據預處理模塊采用Opencv+Python程序對所述風格圖像進行隨機裁剪以使裁剪后的風格圖像的尺寸與所述目標圖像的尺寸相同；