[發明專利]一種印刷體數學公式識別方法、裝置及存儲介質

有效

• 申請號: 202210935737.7
• 申請日: 2022-08-05
• 公開（公告）號: CN115063799B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 龍軍;洪泉;楊柳;王子冬
• 申請（專利權）人: 中南大學
• 主分類號: G06V30/10
• 分類號: G06V30/10;G06N3/0464;G06V10/82;G06V30/148;G06V30/18
• 代理公司: 長沙市融智專利事務所(普通合伙) 43114
• 代理人: 胡喜舟

本發明公開了一種印刷體數學公式識別方法、裝置及存儲介質，其中方法包括：獲取印刷體數學公式圖片并進行預處理；基于編碼器提取印刷體數學公式圖片的第一特征矩陣；提取第一特征矩陣的上下文語義特征，得到第二特征矩陣；使用相對位置編碼技術對第二特征矩陣進行相對位置編碼，得到第三特征矩陣；將第三特征矩陣輸入解碼器中，得到印刷體數學公式的Latex格式序列。第三特征矩陣是第一特征矩陣的基礎上依次進行了上下文語義特征和元素間相對位置特征的再次提取，提取的特征更加能準確反映印刷體數學公式的特性，提高了最終印刷體數學公式識別的準確率。

技術領域

本發明涉及印刷體公式識別技術領域，尤其涉及一種印刷體數學公式識別方法、裝置及存儲介質。

背景技術

在科研教育領域，很多科研文獻中的印刷體數學公式以圖片的形式存在，而以圖片形式存儲的公式一方面不便于計算機的處理和編輯，另一方面存儲圖片所消耗的空間也會比較大。將印刷體公式圖片轉換為文本序列的Latex格式進行存儲能很好的解決上述兩個問題。

當下印刷體數學公式識別為Latex格式序列主要可分類兩類。一類是將識別過程劃分為字符分割、字符識別、結構分析的多階段順序識別方法。另一類則是基于機器學習的全局識別方法。基于多階段順序識別的方法，其最大的問題在于，上游任務中產生的錯誤可能會傳播到下游任務并被下游任務捕獲，導致錯誤在識別過程中的不斷傳遞甚至放大，從而導致最后的識別效果出現偏差。而基于機器學習的全局識別方法，則消除了多階段任務，避免了錯誤在識別過程中的積累。

現有的基于機器學習的方法主要采用深度學習中的編碼器-解碼器模型架構實現印刷體公式識別的過程，在該模型架構中編碼器一般使用10層以內的卷積神經網絡（CNN），解碼器則采用循環神經網絡（RNN）。但是印刷體數學公式圖片包含著復雜的語義特征和結構特征，現有的技術無法準確的提取到公式圖片中的語義特征和結構特征，對模型的識別準確率產生了一定的影響。

發明內容

本發明提供了一種印刷體數學公式識別方法、裝置及存儲介質，以解決現有的印刷體數學公式識別方法準確率不高的問題。

第一方面，提供了一種印刷體數學公式識別方法，包括：

獲取印刷體數學公式圖片并進行預處理；

基于編碼器提取印刷體數學公式圖片的第一特征矩陣；

提取第一特征矩陣的上下文語義特征，得到第二特征矩陣；

使用相對位置編碼技術對第二特征矩陣進行位置編碼，得到第三特征矩陣；

將第三特征矩陣輸入解碼器中，得到數學公式的Latex格式序列。

其中第三特征矩陣是第一特征矩陣的基礎上依次進行了上下文語義特征提取和相對位置信息編碼，提取的特征更加能準確反映數學公式的特性，提高了最終的印刷體數學公式識別的準確率。

進一步地，所述預處理過程包括：

裁剪出印刷體數學公式圖片的公式核心區域圖片。

用戶上傳的待識別的印刷體數學公式圖片，往往包含許多無效的空白部分，而印刷體數學公式圖片中真正包含數學公式的部分僅僅只占整個圖片很小的一部分。所以通過截取印刷體數學公式圖片中的公式核心區域，縮小待識別處理的圖片的尺寸，能提高印刷體數學公式的識別效果，減少識別過程的時空開銷。

進一步地，所述裁剪出印刷體數學公式圖片的公式核心區域圖片包括：

基于印刷體公式圖片建立直角坐標系；

根據印刷體公式圖片中像素點的灰度值確定公式核心區域的四個頂點坐標，基于四個頂點坐標裁剪出對應的公式核心區域圖片。

更具體地，以印刷體公式圖片的最左上角為原點，以水平方向為橫軸，以豎直方向為縱軸，建立直接坐標系；