[發(fā)明專利]一種公式識(shí)別方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011420144.4
• 申請(qǐng)日: 2020-12-08
• 公開（公告）號(hào): CN112200194B
• 公開（公告）日: 2021-04-09
• 發(fā)明（設(shè)計(jì)）人: 張蓓蓓;秦勇
• 申請(qǐng)（專利權(quán)）人: 北京易真學(xué)思教育科技有限公司
• 主分類號(hào): G06K9/32
• 分類號(hào): G06K9/32
• 代理公司: 北京合智同創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 11545
• 代理人: 李杰;蘭淑鐸

1.一種公式識(shí)別方法，其特征在于，所述方法包括：

獲取包含公式的待識(shí)別圖像；

將所述待識(shí)別圖像輸入預(yù)先訓(xùn)練完成的公式識(shí)別模型，通過(guò)所述公式識(shí)別模型中的卷積部分對(duì)所述待識(shí)別圖像進(jìn)行特征提取，獲取所述待識(shí)別圖像中所述公式對(duì)應(yīng)的字符特征；通過(guò)所述公式識(shí)別模型中的循環(huán)神經(jīng)網(wǎng)絡(luò)，根據(jù)所述字符特征進(jìn)行字符序列預(yù)測(cè)，獲得用于指示所述公式對(duì)應(yīng)的后綴表達(dá)式的字符編碼向量序列；其中，所述公式識(shí)別模型是基于包含公式的圖像樣本以及與所述圖像樣本中的公式對(duì)應(yīng)的標(biāo)簽編碼向量序列訓(xùn)練得到的,所述標(biāo)簽編碼向量序列是對(duì)所述圖像樣本包含的公式對(duì)應(yīng)的后綴表達(dá)式對(duì)應(yīng)的樣本字符序列進(jìn)行編碼得到的；

根據(jù)預(yù)設(shè)的編碼字典，對(duì)所述字符編碼向量序列進(jìn)行解碼，獲得所述后綴表達(dá)式對(duì)應(yīng)的字符序列；

對(duì)獲得的所述字符序列進(jìn)行后綴表達(dá)式還原處理，獲得字符公式。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述公式識(shí)別模型的訓(xùn)練過(guò)程包括：

獲取包含公式的圖像樣本；

確定與所述圖像樣本中的公式對(duì)應(yīng)的標(biāo)簽編碼向量序列；

將所述圖像樣本輸入初始的公式識(shí)別模型，通過(guò)所述初始的公式識(shí)別模型獲得預(yù)測(cè)編碼向量序列；

基于所述標(biāo)簽編碼向量序列和所述預(yù)測(cè)編碼向量序列，計(jì)算損失值；

根據(jù)所述損失值，對(duì)所述初始的公式識(shí)別模型進(jìn)行訓(xùn)練，得到所述公式識(shí)別模型。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于所述標(biāo)簽編碼向量序列和所述預(yù)測(cè)編碼向量序列，計(jì)算損失值，包括：

基于所述標(biāo)簽編碼向量序列、所述預(yù)測(cè)編碼向量序列以及預(yù)設(shè)的L1平滑損失函數(shù)，獲得損失值。

4.根據(jù)權(quán)利要求2或3所述的方法，其特征在于，所述確定與所述圖像樣本中的公式對(duì)應(yīng)的標(biāo)簽編碼向量序列，包括：

確定所述圖像樣本包含的公式對(duì)應(yīng)的后綴表達(dá)式；

獲取所述后綴表達(dá)式對(duì)應(yīng)的樣本字符序列；

對(duì)所述樣本字符序列進(jìn)行編碼，得到標(biāo)簽編碼向量序列。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述對(duì)所述樣本字符序列進(jìn)行編碼，得到標(biāo)簽編碼向量序列，包括：

分別對(duì)所述樣本字符序列中的每個(gè)字符進(jìn)行編碼，得到每個(gè)字符對(duì)應(yīng)的編碼向量；其中，所述樣本字符序列中的字符包括以下至少之一：字母、數(shù)字以及運(yùn)算符；

根據(jù)所述每個(gè)字符對(duì)應(yīng)的編碼向量，得到標(biāo)簽編碼向量序列。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述循環(huán)神經(jīng)網(wǎng)絡(luò)包含多個(gè)輸出節(jié)點(diǎn)，每個(gè)輸出節(jié)點(diǎn)輸出一個(gè)字符編碼向量；其中，每個(gè)字符編碼向量用于表征一個(gè)實(shí)體字符或者一個(gè)空字符。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述循環(huán)神經(jīng)網(wǎng)絡(luò)為帶有注意力機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò)。

8.一種公式識(shí)別裝置，其特征在于，所述裝置包括：

待識(shí)別圖像獲取模塊，用于獲取包含公式的待識(shí)別圖像；

字符編碼向量序列獲得模塊，用于將所述待識(shí)別圖像輸入預(yù)先訓(xùn)練完成的公式識(shí)別模型，通過(guò)所述公式識(shí)別模型中的卷積部分對(duì)所述待識(shí)別圖像進(jìn)行特征提取，獲取所述待識(shí)別圖像中公式對(duì)應(yīng)的字符特征；通過(guò)所述公式識(shí)別模型中的循環(huán)神經(jīng)網(wǎng)絡(luò)，根據(jù)所述字符特征進(jìn)行字符序列預(yù)測(cè)，獲得用于指示所述公式對(duì)應(yīng)的后綴表達(dá)式的字符編碼向量序列；其中，所述公式識(shí)別模型是基于包含公式的圖像樣本以及與所述圖像樣本中的公式對(duì)應(yīng)的標(biāo)簽編碼向量序列訓(xùn)練得到的,所述標(biāo)簽編碼向量序列是對(duì)所述圖像樣本包含的公式對(duì)應(yīng)的后綴表達(dá)式對(duì)應(yīng)的樣本字符序列進(jìn)行編碼得到的；

字符序列獲得模塊，用于根據(jù)預(yù)設(shè)的編碼字典，對(duì)所述字符編碼向量序列進(jìn)行解碼，獲得所述后綴表達(dá)式對(duì)應(yīng)的字符序列；

字符公式獲得模塊，用于對(duì)獲得的所述字符序列進(jìn)行后綴表達(dá)式還原處理，獲得字符公式。