[發(fā)明專利]數(shù)學公式識別方法及裝置、終端設備和可讀存儲介質

在審

• 申請?zhí)枺?/td>: 202010171178.8
• 申請日: 2020-03-12
• 公開（公告）號: CN111368773A
• 公開（公告）日: 2020-07-03
• 發(fā)明（設計）人: 江順堯;鄧小兵;張春雨
• 申請（專利權）人: 廣東小天才科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海碩力知識產(chǎn)權代理事務所(普通合伙) 31251
• 代理人: 郭桂峰

1.一種數(shù)學公式識別方法，其特征在于，包括：

獲取包含有待識別數(shù)學公式的圖片；

采用CNN網(wǎng)絡對所述圖片進行特征提取并對提取的特征進行編碼；

依照編碼，依次使用Attention模塊和GRU模塊對各特征圖進行解碼，完成對數(shù)學公式的識別；其中，所述Attention模塊中通過引入一對齊信息實現(xiàn)coverage機制。

2.如權利要求1所述的數(shù)學公式識別方法，其特征在于，在所述采用CNN網(wǎng)絡對所述圖片進行特征提取并對提取的特征進行編碼中，包括：采用DenseNet結構的CNN網(wǎng)絡對所述圖片進行特征提取及對提取的特征進行編碼。

3.如權利要求1或2所述的數(shù)學公式識別方法，其特征在于，在所述依次使用Attention模塊和GRU模塊對各特征圖進行解碼的一次解碼過程中，包括：

MLP模塊根據(jù)t時刻輸入的特征圖a、GRU模塊中t-1時刻的隱藏狀態(tài)h_t-1及過去時刻的對其信息β_t計算得到Attention權重α_t，所述t-1時刻為t時刻的前一時刻；

Attention模塊根據(jù)t時刻輸入的特征圖a和計算得到的Attention權重α_t進一步計算得到上下文向量c_t；

GRU模塊根據(jù)上下文向量c_t、t-1時刻的輸出y_t-1及隱藏狀態(tài)h_t-1得到t時刻的輸出y_t和隱藏狀態(tài)h_t。

4.如權利要求3所述的數(shù)學公式識別方法，其特征在于，在所述MLP模塊根據(jù)t時刻輸入的特征圖a、GRU模塊中t-1時刻的隱藏狀態(tài)h_t-1及過去時刻的對其信息β_t計算得到Attention權重中，所述Attention權重α_t為：

f＝Q·β_t

其中，n表示時刻，α_n表示n時刻的Attention權重；Q、ν_a、W_a、U_a及U_f均為權重，為MLP模塊的可訓練參數(shù)；k表示特征圖a的第k個特征向量，L表示特征圖a的大小，且1≤k≤L。

5.如權利要求3所述的數(shù)學公式識別方法，其特征在于，在所述Attention模塊根據(jù)t時刻輸入的特征圖a和計算得到的Attention權重α_t進一步計算得到上下文向量c_t中，所述上下文向量c_t為：

其中，k表示特征圖a的第k個特征向量，L表示特征圖a的大小，且1≤k≤L，α_tk表示t時刻第k個特征向量的Attention權重。