[發明專利]一種公式檢測的方法、裝置、電子設備和存儲介質

有效

• 申請號: 202010496715.6
• 申請日: 2020-06-03
• 公開（公告）號: CN111652145B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 熊勛;鄧小兵;張春雨
• 申請（專利權）人: 廣東小天才科技有限公司
• 主分類號: G06V30/40
• 分類號: G06V30/40;G06V30/14;G06V30/148;G06V30/19;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 廣州智斧知識產權代理事務所(普通合伙) 44649
• 代理人: 孔德超

1.一種公式檢測的方法，其特征在于，包括：

獲取目標圖片，將所述目標圖片輸入預先訓練的公式識別模型，確定初始公式框坐標；

利用所述初始公式框坐標，在所述目標圖片中分割得到所述初始公式框坐標內的圖像，記為初始公式圖像；

將所述初始公式圖像輸入預先訓練的目標分類識別模型，確定最終的公式圖像；

將所述初始公式圖像輸入預先訓練的目標分類識別模型，確定最終公式圖像，包括：

基于深度學習的方式創建目標分類識別初始模型，并以第二樣本集對所述目標分類識別初始模型進行訓練，得到預先訓練的目標分類識別模型，所述第二樣本集包括多張公式圖像和多張英文圖像；

將所述初始公式圖像輸入所述預先訓練的目標分類識別模型，得到所述初始公式圖像為公式和英文的概率，所述初始公式圖像為公式的概率和英文的概率之和為1；

在所述初始公式圖像為公式的概率值大于或等于第二預設閾值時，將所述初始公式圖像判定為最終公式圖像。

2.根據權利要求1所述的方法，其特征在于，將所述目標圖片輸入預先訓練的公式識別模型，確定初始公式框坐標，包括：

基于深度學習的方式創建公式識別初始模型，并以第一樣本集對所述公式識別初始模型進行訓練，得到預先訓練的公式識別模型，所述第一樣本集包括多張頁面樣本圖像，訓練時的標簽為每張頁面樣本圖像中公式的掩碼；

將所述目標圖片輸入所述預先訓練的公式識別模型，得到初始公式框坐標。

3.根據權利要求2所述的方法，其特征在于，將所述目標圖片輸入所述預先訓練的公式識別模型，得到初始公式框坐標，之后，還包括：

通過非極大值抑制算法對所述初始公式框進行過濾，得到優化公式框。

4.根據權利要求2所述的方法，其特征在于，將所述目標圖片輸入所述預先訓練的公式識別模型，得到初始公式框坐標，之后，還包括：

獲取公式識別模型得到的所述初始公式框對應的識別概率；

過濾所述識別概率中小于第一預設閾值的初始公式框，得到初步優化公式框；

通過非極大值抑制算法對所述初步優化公式框進行過濾，得到優化公式框。

5.一種公式檢測的裝置，其特征在于，包括：

第一識別單元，用于獲取目標圖片，將所述目標圖片輸入預先訓練的公式識別模型，確定初始公式框坐標；

分割單元，用于利用所述初始公式框坐標，在所述目標圖片中分割得到所述初始公式框坐標內的圖像，記為初始公式圖像；

第二識別單元，用于將所述初始公式圖像輸入預先訓練的目標分類識別模型，確定最終的公式圖像；

所述第二識別單元，包括：

第二訓練子單元，用于基于深度學習的方式創建目標分類識別初始模型，并以第二樣本集對所述目標分類識別初始模型進行訓練，得到預先訓練的目標分類識別模型，所述第二樣本集包括多張公式圖像和多張英文圖像；

第二概率確定子單元，用于將所述初始公式圖像輸入所述預先訓練的目標分類識別模型，得到所述初始公式圖像為公式和英文的概率，所述初始公式圖像為公式的概率和英文的概率之和為1；

第二獲取子單元，用于在所述初始公式圖像為公式的概率值大于或等于第二預設閾值時，將所述初始公式圖像判定為最終公式圖像。

6.根據權利要求5所述的裝置，其特征在于，所述第一識別單元，包括：

第一訓練子單元，用于基于深度學習的方式創建公式識別初始模型，并以第一樣本集對所述公式識別初始模型進行訓練，得到預先訓練的公式識別模型，所述第一樣本集包括多張頁面樣本圖像，訓練時的標簽為每張頁面樣本圖像中公式的掩碼；

第一獲取子單元，用于將所述目標圖片輸入所述預先訓練的公式識別模型，得到初始公式框坐標。

7.根據權利要求6所述的裝置，其特征在于，所述裝置還包括：過濾單元，用于通過非極大值抑制算法對所述初始公式框進行過濾，得到優化公式框。