[發明專利]一種基于像素級多特征聯合分類的手寫體字符的提取方法

有效

• 申請號: 201911253552.2
• 申請日: 2019-12-09
• 公開（公告）號: CN110991439B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 田博帆
• 申請（專利權）人: 南京紅松信息技術有限公司
• 主分類號: G06V30/148
• 分類號: G06V30/148;G06V30/14;G06V30/19;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 南京正聯知識產權代理有限公司 32243
• 代理人: 顧伯興

1.一種基于像素級多特征聯合分類的手寫體字符的提取方法，其特征在于，具體包括以下步驟：

(1)字符定位：通過字符連通域算法或目標識別檢測YoLo?v3算法對圖片中的文本字符進行定位處理，獲取所述文本字符的定位坐標；

(2)樣本收集：收集含手寫體文本字符和印刷體文本字符的重疊字符的真實樣本，再通過合成方式追加若干個類真實的樣本，獲得重疊文本字符樣本；

(3)特征提取：對步驟(2)中的重疊文本字符樣本進行多特征提取，特征維度可選擇追加不同的學習樣本，獲得文本字符圖；

(4)像素分類：對步驟(3)提取到的文本字符的特征進行像素級分類，獲得字符特征的像素分類結果；

(5)字符提取：根據步驟(4)中的字符特征的像素分類結果，對圖片中的像素位進行篩選并將判斷為印刷體的字符像素的灰度值設置為白色，從而去除印刷體字符，提取出手寫體字符；

所述步驟(1)中采用目標識別檢測YoLo?v3算法對圖片中的文本字符進行定位處理的具體步驟為：

S1-1：對圖片中的每個文本字符進行標注；

S1-2：通過DarkNet53網絡對每個文本字符進行特征提取；并采用不同尺度的特征圖對提取的特征進行目標檢測；

S1-3：將DarkNet53網絡產出的不同尺度的所述特征圖作為輸入，以FPN(featurepyramid?networks)算法作為參考，通過卷積層和上采樣對不同尺度的特征圖進行融合，從而實現快速的對圖片中的每個字符進行定位和檢測；

所述步驟(1)中采用所述字符連通域算法對圖片中的文本字符進行定位處理的具體步驟為：

S11：按行和列遍歷圖片中第一個有像素值的點P(x,y)，并賦予其一個標注label，然后將與像素點相鄰的所有前景像素都壓入棧中；

S12：彈出棧頂像素，賦予其相同的標注label，然后再將與所述棧頂像素相鄰的所有前景像素都壓入棧中，重復此步驟，直至棧為空，便得到了圖片中的某一個連通區域；

S13：重復步驟S11和步驟S12，完成整張圖片的遍歷，最終可得到所有文本字符的連通區域，從而實現文本字符的定位；

所述步驟(2)中樣本收集的通過合成方式追加若干個類真實的樣本的具體合成方法為計算機合成方式，具體步驟為：

S21：將手寫體文本字符圖片和印刷體文本字符圖片的大小調整為相同大小；

S22：對步驟(1)中調整大小后的圖片做二值化處理，再對處理后的圖片做或運算保留其有效像素位；

S23：根據二值化處理后的合成圖，篩選出有效像素位，再從文本字符的原始圖的對應位置選取合成圖像素值，從而得到重疊混合的文本字符；

所述步驟(3)中對所述字符樣本進行多特征提取的具體步驟為：

S31：先對重疊文本字符樣本進行多特征提取，將輸入的文本字符圖片的大小調整為統一的固定大小；特征維度根據需求選擇追加不同的學習樣本；

S32：使用全卷積FCN網絡對圖片中的多維特征進行卷積，提取有效的文本字符特征圖；

所述步驟(4)中先通過上采樣處理將提取到的文本字符的特征圖片放大至輸入圖片的大小，保證特征圖片的每個像素位與原圖對齊，再對字符像素特征進行分類處理；分類處理的具體過程為：根據網絡的對稱性結構，對設定的多層卷積獲取到文本字符的特征圖后進行相同層數的上采樣處理，反卷積至統一大小，對應分類每一個字符像素。

2.根據權利要求1所述的基于像素級多特征聯合分類的手寫體字符的提取方法，其特征在于，所述步驟S22中的二值化處理具體過程為：設定全局閾值128，將大于128的像素群像素值設定為白色，將小于128的像素群像素值設定為黑色。

3.根據權利要求1所述的基于像素級多特征聯合分類的手寫體字符的提取方法，其特征在于，所述步驟S31中特征維度根據需求選擇追加不同的學習樣本包括字符的寬高、字符的關鍵筆畫和字符的連通域。

4.根據權利要求1所述的基于像素級多特征聯合分類的手寫體字符的提取方法，其特征在于，將輸入的文本字符圖片的大小調整為統一的固定大小32*32。

5.根據權利要求1所述的基于像素級多特征聯合分類的手寫體字符的提取方法，其特征在于，所述步驟(5)中將判斷為印刷體的字符像素的灰度值設置為255。