[發(fā)明專利]數學公式識別方法及裝置、終端設備和可讀存儲介質

在審

• 申請?zhí)枺?/td>: 202010171178.8
• 申請日: 2020-03-12
• 公開（公告）號: CN111368773A
• 公開（公告）日: 2020-07-03
• 發(fā)明（設計）人: 江順堯;鄧小兵;張春雨
• 申請（專利權）人: 廣東小天才科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海碩力知識產權代理事務所(普通合伙) 31251
• 代理人: 郭桂峰

本發(fā)明提供了一種數學公式識別方法及裝置、終端設備和可讀存儲介質，其中，數學公式識別方法中包括：獲取包含有待識別數學公式的圖片；采用CNN網絡對圖片進行特征提取并對提取的特征進行編碼；依照編碼，依次使用Attention模塊和GRU模塊對各特征圖進行解碼，完成對數學公式的識別；其中，Attention模塊中通過引入一對齊信息實現coverage機制。其將CNN網絡、GRU模塊、coverage機制和Attention模塊結合為統(tǒng)一模型并進行聯(lián)合優(yōu)化，實現對印刷體、手寫體混合等數學公式端到端的識別，根據輸入的包含有待識別數學公式的圖片直接得到最終的Latex文本串，大大簡化了算法模型的結構，更加的清晰簡單且易于實現。

技術領域

本發(fā)明涉及通信技術領域，尤指一種數學公式識別方法及裝置、終端設備和可讀存儲介質。

背景技術

數學公式用于表征自然界不同事物之數量之間的或等或不等的聯(lián)系，常用于教材、科技論文等文檔中。與一維結構的文本行不同，數學公式中通常存在上下、左右、包圍等二維結構。由于其結構復雜，通過手動的方式進行輸入較為繁瑣，會浪費大量的時間，是以對數學公式進行識別成為一種需求。

數學公式識別是對二維結構的數學公式圖片進行識別得到相應latex文本串的過程。一般來說，傳統(tǒng)的數學公式識別方法需要經過字符定位分割、字符識別和結構分析3個步驟，其中，字符定位分割用于對公式中字符的進行組合，字符識別用于通過特征提取的方式對字符進行識別，結構分析用于對識別的字符對其進行組合得到公式。

雖然上述識別方法能夠一定程度上實現目的，但是仍然存在諸多缺點：1)過程復雜難以實現，且存在錯誤疊加的問題；2)字符定位分割存在困難，粘連字符、存在分離結構的字符(如i、左右結構的漢字等)、字符大小不一、字體不清晰等情況都使得字符的定位和分割難度較大，難以兼容多種情況；3)字符識別是按單個字符進行識別，缺乏上下文信息，相似字符難以區(qū)分(如0和o等)；4)結構分析情況復雜，依賴于經驗分析，泛用性較差，實現上存在難度；5)難以識別手寫公式等。

發(fā)明內容

本發(fā)明的目的是提供一種數學公式識別方法及裝置、終端設備和可讀存儲介質，有效解決現有公式識別方法識別率高、識別難度大等技術問題。

本發(fā)明提供的技術方案如下：

一種數學公式識別方法，包括：

獲取包含有待識別數學公式的圖片；

采用CNN網絡對所述圖片進行特征提取并對提取的特征進行編碼；

依照編碼，依次使用Attention模塊和GRU(Gated recurrent unit，門控遞歸單元)模塊對各特征圖進行解碼，完成對數學公式的識別；其中，所述Attention模塊中通過引入一對齊信息實現coverage機制。

在本技術方案中，CNN網絡具體為卷積神經網絡，可用于做為特征提取器；GRU模塊為循環(huán)神經網絡中的一種；Attention模塊是一種根據當前的網絡狀態(tài)使網絡關注輸入中的特定局部的機制模塊。

進一步優(yōu)選地，在所述采用CNN網絡對所述圖片進行特征提取并對提取的特征進行編碼中，包括：采用DenseNet結構的CNN網絡對所述圖片進行特征提取及對提取的特征進行編碼。

進一步優(yōu)選地，在所述依次使用Attention模塊和GRU模塊對各特征圖進行解碼的一次解碼過程中，包括：

MLP模塊根據t時刻輸入的特征圖a、GRU模塊中t-1時刻的隱藏狀態(tài)h_t-1及過去時刻的對其信息β_t計算得到Attention權重α_t，所述t-1時刻為t時刻的前一時刻；