[發明專利]一種融合筆尖軌跡和書寫墨跡的實時文字識別方法

有效

• 申請號: 202111101792.8
• 申請日: 2021-09-18
• 公開（公告）號: CN113869168B
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 傅元弟
• 申請（專利權）人: 珠海讀書郎軟件科技有限公司
• 主分類號: G06V30/32
• 分類號: G06V30/32;G06N3/04;G06N3/08
• 代理公司: 廣州德偉專利代理事務所(普通合伙) 44436
• 代理人: 黃浩威

本發明公開了一種融合筆尖軌跡和書寫墨跡的實時文字識別方法，具體過程為：S1、從圖像或視頻中獲得所有的筆尖關鍵點，從而獲得筆尖關鍵點運動軌跡P；S2、獲得筆尖關鍵點運動軌跡下方的書寫墨跡裁剪圖像I并將其縮放至M*N大??；所述書寫墨跡裁剪圖像I是利用筆尖關鍵點運動軌跡圍成的邊界框裁剪得到；S3、將筆尖關鍵點運動軌跡P作為輸入傳給神經網絡A得到特征F1；S4、將書寫墨跡裁剪圖像I作為輸入傳給神經網絡B得到特征F2；S5、將特征F1和F2融合成F3作為輸入傳給神經網絡C，輸出最終識別結果。利用本發明可有效提高實時紙上書寫的文字識別率。

技術領域

本發明涉及文字識別技術領域，具體涉及一種融合筆尖軌跡和書寫墨跡的實時文字識別方法。

背景技術

目前利用攝像頭識別場景書寫文字，一種思路是通過跟蹤筆尖軌跡，利用神經網絡識別的，但是由于實際書寫場景下檢測筆尖落筆、抬筆存在一定歧義，極易誤判，導致筆尖軌跡大部分時間是連接在一起的，筆尖軌跡特征不能很好表征文字特征，影響最終的文字識別率。

發明內容

針對現有技術的不足，本發明旨在提供一種融合筆尖軌跡和書寫墨跡的實時文字識別方法。

為了實現上述目的，本發明采用如下技術方案：

一種融合筆尖軌跡和書寫墨跡的實時文字識別方法，具體過程為：

S1、從圖像或視頻中獲得所有的筆尖關鍵點，從而獲得筆尖關鍵點運動軌跡P；

S2、獲得筆尖關鍵點運動軌跡下方的書寫墨跡裁剪圖像I并將其縮放至M*N大?。凰鰰鴮懩E裁剪圖像I是利用筆尖關鍵點運動軌跡圍成的邊界框裁剪得到；

S3、將筆尖關鍵點運動軌跡P作為輸入傳給神經網絡A得到特征F1；

S4、將書寫墨跡裁剪圖像I作為輸入傳給神經網絡B得到特征F2；

S5、將特征F1和F2融合成F3作為輸入傳給神經網絡C，輸出最終識別結果。

進一步地，步驟S1中，所述筆尖關鍵點經過規范化處理，規范化處理按下式進行：

[X’,Y’]＝[M*(X-Min(X))/(Max(X)–Min(X)),N*(Y-Min(Y))/(Max(Y)–Min(Y))]；

其中Min(X)為所有筆尖關鍵點的橫坐標的最小值，Max(X)為所有筆尖關鍵點的橫坐標的最大值，Min(Y)為所有筆尖關鍵點的縱坐標的最小值，Max(Y)為所有筆尖關鍵點的縱坐標的最大值；X、Y為未經規范化處理前的關鍵點橫坐標和縱坐標，X’、Y’分別為經規范化處理后的關鍵點橫坐標和縱坐標；M、N為預設的固定常數。

進一步地，所述神經網絡A是深度學習卷積神經網絡，所述神經網絡B是深度學習卷積神經網絡，所述神經網絡C為雙向LSTM神經網絡。

進一步地，步驟S5中，所述融合方法為按通道concat方法。

本發明提供一種計算機可讀存儲介質，所述計算機可讀存儲介質內存儲有計算機程序，所述計算機程序被處理器執行時實現上述方法。

本發明提供一種電子設備，包括處理器和存儲器，所述存儲器用于存儲計算機程序；所述處理器用于執行所述計算機程序時，實現上述方法。

本發明的有益效果在于：由于筆尖運動軌跡是通過視頻中的目標(筆尖)跟蹤技術來實現的，在筆尖書寫過程中，會存在運動模糊、燈光、遮擋、視頻噪點等客觀影響，導致運動軌跡不夠準確。另外，書寫的墨跡圖像不存在時間維度上信息，即無法通過單幀書寫墨跡圖像判斷哪一筆劃先寫，哪一筆劃后寫，而筆尖運動軌跡中記錄著書寫筆劃的先后順序。本發明通過筆尖運動軌跡和書寫墨跡的結合，可以提高文本的特征信息量，融合更多特征信息，從而提高文字識別率。

附圖說明