[發明專利]一種公式識別方法、裝置和用于公式識別的裝置

在審

• 申請號: 202110680351.1
• 申請日: 2021-06-18
• 公開（公告）號: CN113408417A
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 王杰;王英俊;趙志勇;辛曉哲
• 申請（專利權）人: 北京搜狗科技發展有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 蘇培華

1.一種公式識別方法，其特征在于，所述方法包括：

獲取實時輸入的軌跡點，并對所述軌跡點進行預處理，得到軌跡點序列；

將所述軌跡點序列輸入預先訓練的識別模型，通過所述識別模型中的編碼器對所述軌跡點序列進行特征提取及編碼，得到高維特征向量；

通過所述識別模型中的解碼器對所述高維特征向量進行信息識別及解碼，得到公式識別結果。

2.根據權利要求1所述的方法，其特征在于，所述對所述軌跡點進行預處理，得到軌跡點序列，包括：

對所述軌跡點進行重采樣，得到重采樣后的軌跡點；

對重采樣后的軌跡點進行歸一化處理，得到軌跡點序列。

3.根據權利要求2所述的方法，其特征在于，所述對所述軌跡點進行重采樣，得到重采樣后的軌跡點，包括：

判斷所述軌跡點中是否存在滿足重采樣條件的目標點對，所述滿足重采樣條件的目標點對包括：目標點對的兩點之間的距離小于預設距離，和/或，目標點對的兩點的連接線與預設平面之間的夾角小于預設角度；

若存在滿足重采樣條件的目標點對，則刪除所述目標點對之間的所有點，得到重采樣后的軌跡點。

4.根據權利要求2所述的方法，其特征在于，所述對重采樣后的軌跡點進行歸一化處理，得到軌跡點序列，包括：

確定重采樣后的軌跡點對應的輸入筆劃邊界框；

根據預設邊界框調整所述輸入筆劃邊界框的尺寸；

根據調整后的輸入筆劃邊界框對所述軌跡點進行線性縮放處理，得到軌跡點序列。

5.根據權利要求1所述的方法，其特征在于，所述方法還包括：

若預設時間內未識別到新輸入的軌跡點，則在當前軌跡點之后增加中止符；

按照交換概率將所述中止符之前的任意相鄰筆劃進行交換，得到交換后的軌跡點；

將交換后的軌跡點添加到所述軌跡點序列中。

6.根據權利要求1所述的方法，其特征在于，所述將所述軌跡點序列輸入預先訓練的識別模型之前，所述方法還包括：

獲取訓練樣本集，所述訓練樣本集包括第一類公式對應的第一樣本集，以及第二類公式對應的第二樣本集，所述第一類公式包含至少兩種空間結構和/或所述第一類公式對應的軌跡點為連續點；所述第二類公式包含至多一種空間結構；

根據所述第一樣本集對初始的識別模型進行訓練，得到訓練后的第一模型；

根據所述第二樣本集對所述第一模型進行訓練，得到第二模型；

調整所述第二模型的模型參數，并根據所述第一樣本集和/或所述第二樣本集，對調整后的第二模型進行迭代訓練，所述第二模型對應的損失值小于預設閾值得到訓練完成的識別模型。

7.根據權利要求1所述的方法，其特征在于，所述通過所述識別模型中的解碼器對所述高維特征向量進行信息識別及解碼，得到公式識別結果，包括：

獲取所述高維特征向量中各個子向量的解碼狀態；

若所述子向量的解碼狀態為未解碼，則對所述子向量設置第一權重值；

若所述子向量的解碼狀態為已解碼，則對所述子向量設置第二權重值，所述第二權重值小于所述第一權重值；

對各個子向量進行加權求和，得到調整后的高維特征向量；

通過所述識別模型中的解碼器對調整后的高維特征向量進行信息識別及解碼，得到公式識別結果。

8.根據權利要求1所述的方法，其特征在于，所述解碼器包括至少兩個解碼層，所述通過所述識別模型中的解碼器對所述高維特征向量進行信息識別及解碼，得到公式識別結果，包括：

將所述高維特征向量輸入至所述識別模型中的解碼器，通過所述解碼器的至少兩個解碼層對所述高維特征向量進行解碼；

在各解碼層的解碼過程中，基于混合注意力機制識別所述高維特征向量中的關鍵信息并解碼，得到當前時刻的目標字符，直至解碼結束得到目標字符組成的公式識別結果，所述目標字符包括數學字符和結構字符。