[發明專利]一種融合筆尖軌跡和書寫墨跡的實時文字識別方法

有效

• 申請號: 202111101792.8
• 申請日: 2021-09-18
• 公開（公告）號: CN113869168B
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 傅元弟
• 申請（專利權）人: 珠海讀書郎軟件科技有限公司
• 主分類號: G06V30/32
• 分類號: G06V30/32;G06N3/04;G06N3/08
• 代理公司: 廣州德偉專利代理事務所(普通合伙) 44436
• 代理人: 黃浩威

1.一種融合筆尖軌跡和書寫墨跡的實時文字識別方法，其特征在于，具體過程為：

S1、從圖像或視頻中獲得所有的筆尖關鍵點，從而獲得筆尖關鍵點運動軌跡P；

S2、獲得筆尖關鍵點運動軌跡下方的書寫墨跡裁剪圖像I并將其縮放至M*N大小；所述書寫墨跡裁剪圖像I是利用筆尖關鍵點運動軌跡圍成的邊界框裁剪得到；

S3、將筆尖關鍵點運動軌跡P作為輸入傳給神經網絡A得到特征F1；

S4、將書寫墨跡裁剪圖像I作為輸入傳給神經網絡B得到特征F2；

S5、將特征F1和F2融合成F3作為輸入傳給神經網絡C，輸出最終識別結果。

2.根據權利要求1所述的方法，其特征在于，步驟S1中，所述筆尖關鍵點經過規范化處理，規范化處理按下式進行：

[X’,Y’]＝[M*(X-Min(X))/(Max(X)–Min(X)),N*(Y-Min(Y))/(Max(Y)–Min(Y))]；

其中Min(X)為所有筆尖關鍵點的橫坐標的最小值，Max(X)為所有筆尖關鍵點的橫坐標的最大值，Min(Y)為所有筆尖關鍵點的縱坐標的最小值，Max(Y)為所有筆尖關鍵點的縱坐標的最大值；X、Y為未經規范化處理前的關鍵點橫坐標和縱坐標，X’、Y’分別為經規范化處理后的關鍵點橫坐標和縱坐標；M、N為預設的固定常數。

3.根據權利要求1所述的方法，其特征在于，所述神經網絡A是深度學習卷積神經網絡，所述神經網絡B是深度學習卷積神經網絡，所述神經網絡C為雙向LSTM神經網絡。

4.根據權利要求1所述的方法，其特征在于，步驟S5中，所述融合方法為按通道concat方法。

5.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質內存儲有計算機程序，所述計算機程序被處理器執行時實現權利要求1-4任一所述的方法。

6.一種電子設備，其特征在于，包括處理器和存儲器，所述存儲器用于存儲計算機程序；所述處理器用于執行所述計算機程序時，實現權利要求1-4任一所述的方法。