[發(fā)明專利]一種公式識別方法及裝置

在審

• 申請?zhí)枺?/td>: 202110322524.2
• 申請日: 2021-03-25
• 公開（公告）號: CN113033538A
• 公開（公告）日: 2021-06-25
• 發(fā)明（設(shè)計(jì)）人: 王杰;王英俊;秦波;辛?xí)哉?/a>
• 申請（專利權(quán)）人: 北京搜狗科技發(fā)展有限公司
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 儲倩

本申請公開了一種公式識別方法，在一個示例中，該方法可以由第一設(shè)備執(zhí)行。第一設(shè)備可以獲取包括公式的待識別圖像，而后，對所述待識別圖像進(jìn)行處理，得到全局圖像特征和局部圖像特征。進(jìn)一步地，可以對所述全局圖像特征和所述局部圖像特征進(jìn)行處理，得到所述待識別圖像中包括的公式。由此可見，在本申請實(shí)施例中，識別待識別圖像中的公式時(shí)，結(jié)合了待識別圖像的局部圖像特征，因此，即使所述待識別圖像中公式所包括的字符比較小，利用本申請實(shí)施例的方案，也能準(zhǔn)確的識別出待識別圖像中的公式。因此，利用本方案，能夠準(zhǔn)確的識別出待識別圖像中的公式。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)處理領(lǐng)域，特別是涉及一種公式識別方法及裝置。

背景技術(shù)

在一些場景中，需要識別圖像中的公式。目前所使用的識別公式的方法，并不能夠準(zhǔn)確的識別出圖像中的公式，因此，急需一種方案，能夠解決該問題。

發(fā)明內(nèi)容

本申請所要解決的技術(shù)問題是如何準(zhǔn)確的識別出圖像中的公式，提供一種公式識別方法及裝置。

第一方面，本申請實(shí)施例提供了一種公式識別方法，所述方法包括：

獲取包括公式的待識別圖像；

對所述待識別圖像進(jìn)行處理，得到全局圖像特征和局部圖像特征；

對所述全局圖像特征和所述局部圖像特征進(jìn)行處理，得到所述待識別圖像中包括的公式。

可選的，所述對所述待識別圖像進(jìn)行處理，得到全局圖像特征和局部圖像特征包括：

利用卷積神經(jīng)網(wǎng)絡(luò)的M個卷積層和N個池化層對所述待識別圖像進(jìn)行處理，得到所述全局圖像特征；M和N均為大于或者等于1的整數(shù)；

所述M個卷積層和所述N個池化層中的部分池化層對所述待識別圖像進(jìn)行處理，得到所述局部圖像特征。

可選的，所述卷積神經(jīng)網(wǎng)絡(luò)為：DenseNet。

可選的，所述對所述全局圖像特征和所述局部圖像特征進(jìn)行處理，得到所述待識別圖像中包括的公式通過解碼器實(shí)現(xiàn)，所述解碼器包括：第一門循環(huán)單元GRU層和第二GRU層，其中：

在第一解碼時(shí)刻：

所述第一GRU層的輸入包括：所述全局圖像特征、所述局部圖像特征、以及所述第一GRU層在第二解碼時(shí)刻得到的隱藏向量，所述第二解碼時(shí)刻為所述第一解碼時(shí)刻的上一解碼時(shí)刻，所述第一GRU層在第二解碼時(shí)刻得到的隱藏向量，能夠指示所述第一解碼時(shí)刻所述全局圖像特征和所述局部圖像特征中未被解碼的內(nèi)容；所述第二GRU層的輸入包括：所述全局圖像特征和所述局部圖像特征以及所述第一GRU層在所述第一解碼時(shí)刻輸出的隱藏向量；

所述解碼器的輸出為所述第二GRU層在最后一個解碼時(shí)刻得到的解碼結(jié)果。

可選的，在第一解碼時(shí)刻，所述第二GRU層的輸入還包括：

所述第二GRU層在所述第二解碼時(shí)刻得到的隱藏向量，其中，所述第二GRU層在所述第二解碼時(shí)刻得到的隱藏向量，能夠指示在所述第一解碼時(shí)刻所述全局圖像特征和所述局部圖像特征中未被解碼的內(nèi)容。

可選的，所述解碼器為Transformer模型中的解碼器。

可選的，所述獲取包括公式的待識別圖像，包括：

獲取包括公式的原始圖像，去除所述原始圖像中的冗余信息和/或噪聲干擾，得到所述待識別圖像。

可選的，所述方法還包括：

獲取包括公式的訓(xùn)練圖像；

利用所述訓(xùn)練圖像和所述訓(xùn)練圖像的標(biāo)注信息，訓(xùn)練得到公式識別模型，其中，所述訓(xùn)練圖像的標(biāo)注信息，用于指示所述訓(xùn)練圖像中包括的公式，所述公式識別模型，用于識別所述待識別圖像中的公式。