[發明專利]聯機中英文混合手寫識別方法

在審

• 申請號: 202011259598.8
• 申請日: 2020-11-12
• 公開（公告）號: CN112464926A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 付鵬斌;劉鵬輝;楊惠榮
• 申請（專利權）人: 北京工業大學
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/32;G06K9/62;G06K9/68;G06N3/04;G06N3/08
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 張慧

1.聯機中英文混合手寫識別方法，其特征在于，包括如下步驟：

步驟一，聯機手寫數據集的建立及其擴充，具體為：聯機手寫英文字符數據集的建立、聯機手寫中文漢字數據集的合并及擴充以及聯機混合手寫中英文句子數據集的建立，聯機手寫數據集中的每個字符都是由多個點組成的，每個字符的數據格式是由組成該字符的多個點的點坐標序列構成的，故聯機手寫數據集的數據格式為點坐標序列{x,y}，X為橫坐標值、Y為縱坐標值；

步驟二，提取單字符特征向量，所述的單字符包括英文字符和中文漢字；構建聯機手寫英文字符識別模型，以及聯機手寫中文漢字識別模型，兩個模型結構相同，參數不共享，其中聯機手寫英文字符識別模型用于識別手寫英文字符，聯機手寫中文漢字識別模型用于識別中文漢字；利用數據集中英文字符提取的N維特征向量對手寫英文字符識別模型進行訓練，N的取值范圍為144-256，利用中文漢字提取的8方向特征圖，以及原圖所構成的9通道特征圖對手寫中文漢字識別模型進行模型訓練；

步驟三，對聯機中英文混合手寫文本行進行傾斜矯正預處理，用于矯正手寫文本行，獲取更加真實的文本行高度估計值；

步驟四，對傾斜矯正預處理完成后的聯機中英文混合手寫文本行進行過切分處理，用于保證切分完成的字符片段都是單個字符的子片段；

步驟五，對字符片段進行中英文二分類，具體分為三個步驟：首先利用現有中英文分類技術對字符片段進行中英文分類，然后對于無法分類的字符進行二次分類識別，具體為根據字符圓滑度特征，計算字符局部曲率，若曲率值達到閾值歸為英文字符，否則為中文字符；最后把依舊無法分類的字符片段分別送入聯機手寫英文字符識別模型和聯機手寫中文漢字識別模型，將其歸為相似度得分高的模型所對應的一類，得到為最終的分類結果。

步驟六，分別對每一類字符片段進行合并，合并為單個字符，具體為：首先根據字符特征、語言模型特征構建路徑評價函數，得到本次合并路徑的評分，利用動態搜索算法找到評分最優的路徑，為最佳的片段合并結果；

步驟七，對合并完成的中文字符和英文字符分別送入聯機手寫中文漢字識別模型、聯機手寫英文字符識別模型進行識別，把識別結果按照原來的順序進行重組，最終得到聯機中英文混合手寫識別結果。

2.根據權利要求1所述的聯機中英文混合手寫識別方法，其特征在于，步驟一中所述聯機混合手寫中英文句子數據集的建立方法具體如下：

a、收集常用漢字、常用中文詞組、常用英文單詞；

b、對收集的漢字、詞組、單詞進行隨機重組為中英文混合句子，數據集樣本數據。

3.根據權利要求1所述的聯機中英文混合手寫識別方法，其特征在于，步驟二中所述的英文字符特征提取方法如下：

a、獲取手寫英文字符點坐標序列；

b、根據書寫順序依次對點坐標序列進行連線；

c、求英文字符的最小外包矩形，然后把最小外包矩形平均分為n×n塊，其中n的取值范圍為12-16；

d、特征數值化，首先，計算每個小方塊中點坐標的個數m；若m0，該方塊的值為1，若m＝0，該方塊的值為0，所有小方塊對應一個數值，這些數值即為對應的手寫英文字符的特征向量。

4.根據權利要求1所述的聯機中英文混合手寫識別方法，其特征在于，步驟二中所述的中文漢字特征提取方法如下：

a、對手寫中文漢字的點坐標序列進預處理，包括歸一化、平滑去噪、樣本插值；

b、求解每個坐標點的方向向量，其中，某一筆畫中的某個坐標點P_k的方向向量V_k的計算公式如下：

其中，P_k-1為前一點，P_k+1為后一點；

c、定義八方向區域：以平面直角坐標軸X正方向為0°，逆時針旋轉一周為360°，則八方向區域分別為D1:45°-135°、D2:90°-135°、D3:135°-225°、D4:180°-270°、D5:225°-315°、D6:270°-360°、D7:315°-45°、D8:0°-90°，把V_k投影到八方向的兩個子集上，一個集合為{D1，D3，D5，D7}，另一個集合為{D2，D4，D6，D8}；

d、根據向量的分解法則，八個方向可以轉化為八個特征平面，于是就得到了八方向特征圖，加上原圖，得到9通道特征圖。