[發明專利]一種用于文本的識別方法、裝置、存儲介質以及電子設備

在審

• 申請號: 202011080497.4
• 申請日: 2020-10-10
• 公開（公告）號: CN112115936A
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 李月;黃光偉
• 申請（專利權）人: 京東方科技集團股份有限公司
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/62;G06N3/04;G06K9/46
• 代理公司: 北京金信知識產權代理有限公司 11225
• 代理人: 范繼晨;崔家源

1.一種用于文本的識別方法，其特征在于，包括以下步驟：

采集待識別文本的信息，所述待識別文本的信息至少包括所述待識別文本的第一圖片數據和所述待識別文本中所有軌跡點的數據；

將所述第一圖片數據輸入至第一預設網絡模型，獲取文本框的信息；

將所述軌跡點的數據與所述文本框的信息進行匹配，獲取匹配后的文本框；

將所述匹配后的文本框的第二圖片數據和對應的所述軌跡點的數據輸入第二預設網絡模型，獲取識別結果。

2.根據權利要求1所述的識別方法，其特征在于，所述軌跡點的數據至少包括所述軌跡點在第一坐標系下的第一坐標信息、所述軌跡點的時間信息、所述軌跡點的狀態信息。

3.根據權利要求1所述的方法，其特征在于，在所述將所述第一圖片數據輸入至第一預設網絡模型，獲取文本框的信息中，所述第一預設網絡模型至少包括第一特征提取網絡，所述第一特征提取網絡包括卷積神經網絡、反卷積神經網絡、特征融合網絡以及多重卷積層，包括以下步驟：

通過所述卷積神經網絡將所述第一圖片數據轉換為具有第一分辨率的第一特征圖片；

通過所述反卷積神經網絡將所述第一特征圖片轉換為具有第二分辨率的第二特征圖片，其中，所述第二分辨率大于所述第一分辨率；

通過所述特征融合網絡將所述第一特征圖片的特征與所述第二特征圖片的特征進行融合，獲取第三特征圖片；

將所述第三特征圖片輸入多重卷積層，獲取文本框的信息。

4.根據權利要求1所述的方法，其特征在于，所述文本框的信息至少包括以下中的至少一種：

所述文本框的文本分數、所述文本框的位置信息、所述文本框的姿態信息。

5.根據權利要求1所述的方法，其特征在于，所述將所述軌跡點的數據與所述文本框的信息進行匹配，獲取匹配后的文本框，包括以下步驟：

基于所述軌跡點的數據獲取筆畫集合；

獲取所述筆畫集合中每個筆畫的候選文本框；

在所述候選文本框中獲取與所述筆畫對應的文本框。

6.根據權利要求5所述的方法，其特征在于，所述獲取所述筆畫集合中每個筆畫的候選文本框，包括以下步驟：

在第一坐標系中獲取每個所述文本框的最大外接矩形范圍；

判斷所述筆畫集合中每個所述筆畫的起點和/或終點是否落在所述最大外接矩形范圍內，如果是，則對應的所述文本框為所述筆畫的候選文本框。

7.根據權利要求5所述的方法，其特征在于，所述在所述候選文本框中獲取與所述筆畫對應的文本框，包括以下步驟：

基于所述候選文本框建立第二坐標系；

在所述第二坐標系中獲取所述筆畫集合中每個所述筆畫的起點和/或終點的第二坐標信息；

判斷所述第二坐標信息是否落在所述候選文本框的范圍內，如果是，則確定所述候選文本框為與所述筆畫對應的文本框。

8.根據權利要求1所述的方法，其特征在于，所述將所述匹配后的文本框的第二圖片數據和對應的所述軌跡點的數據輸入第二預設網絡模型，獲取識別結果，包括以下步驟：

將所述匹配后的文本框的第二圖片數據輸入到所述第二特征提取網絡以獲取第一輸出結果，將所述軌跡點的數據輸入到第三特征提取網絡以獲取第二輸出結果；

將所述第一輸出結果和所述第二輸出結果輸入到數據融合網絡，以獲取第三輸出結果；

將所述第三輸出結果輸入多個長短期記憶網絡進行時序特征提取，通過解碼獲取識別結果。

9.根據權利要求8所述的方法，其特征在于，所述將所述匹配后的文本框的第二圖片數據輸入到所述第二特征提取網絡以獲取第一輸出結果，將所述軌跡點的數據輸入到第三特征提取網絡以獲取第二輸出結果之前，還包括：對所述第二圖片數據和所述軌跡點的數據進行格式處理。