[發明專利]一種多模態單證分類方法、系統、計算機設備及存儲介質

在審

• 申請號: 202310378465.X
• 申請日: 2023-04-07
• 公開（公告）號: CN116434245A
• 公開（公告）日: 2023-07-14
• 發明（設計）人: 劉穎
• 申請（專利權）人: 中國平安財產保險股份有限公司
• 主分類號: G06V30/19
• 分類號: G06V30/19;G06V30/148;G06V30/146;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 深圳市世聯合知識產權代理有限公司 44385
• 代理人: 羅志銘

本發明提供了一種多模態單證分類方法、系統和存儲介質，應用于多模態單證分類系統，所述方法包括，對N個待分類單證圖像進行粗分類，獲得第一粗分類單證圖像；提取所述第一粗分類單證圖像進行文本檢測，獲得至少一個文本區域；將每一所述文本區域進行分割，獲得至少一個文本圖像塊；將所述文本圖像塊輸入預先訓練的字段識別模型進行類別細分，獲得細分標簽；根據所述細分標簽確定所述待分類單針圖像的目標類別，獲得目標分類單證圖像，從而解決針對多類別的、少訓練樣本的分類問題比較難解決，提升了分類效率。

技術領域

本發明涉及計算機技術領域，尤其涉及一種多模態單證分類方法、系統、計算機設備及存儲介質。

背景技術

在金融保險行業，因業務審批流程不同，會產生不同的業務單據證件，且在對其進行處理時，需要對其進行分類，在金融領域，存在很多難以分類的單獨證明類文件，且同一類型之間還存在模板更替，或者多種模板樣式的問題，不同類型之間的單證之間因非常相似導致難以區分，且上述難以分類的問題很難用大訓練量進行解決，因為訓練樣本不足，所以目前針對圖像分類問題可以使用粗粒度分類問題和細粒度分類的方法進行分類，但針對多類別的、少訓練樣本的分類問題比較難解決，因此，因此業務上需要一種可以精確區分不同單證的方案

發明內容

本發明的主要目的在于提供了一種多模態單證分類方法、系統和存儲介質，旨在解決現有的大批量單證分類效率低下的技術問題。

為實現上述目的，本發明提供一種多模態單證分類方法，所述方法包括：

對N個待分類單證圖像進行粗分類，獲得第一粗分類單證圖像；

提取所述第一粗分類單證圖像進行文本檢測，獲得至少一個文本區域；

將每一所述文本區域進行分割，獲得至少一個文本圖像塊；

將所述文本圖像塊輸入預先訓練的字段識別模型進行類別細分，獲得細分標簽；

根據所述細分標簽確定所述待分類單針圖像的目標類別，獲得目標分類單證圖像。

可選地，所述對N個待分類單證圖像進行粗分類，獲得第一粗分類單證圖像，所述方法包括：

對所述待分類單證圖像進行圖像切割，獲得至少一個待選定區域；

根據預設的抑制條件對所述待選定區域進行冗余去除，獲得至少一個選定區域；

將所述選定區域輸入至預先訓練好的分類模型，獲得所述選定區域的第一置信度，所述第一置信度用于確定所述待分類單證圖像為所述粗分類中第一粗分類的概率；

提取滿足預設條件的所述第一置信度對應的所述待分類單證圖像，獲得第一粗分類單證圖像。

可選地，所述提取所述第一粗分類單證圖像進行文本檢測，獲得至少一個文本區域，所述方法包括：

對所述第一粗分類單證圖像進行特征提取，獲得至少一個特征圖像塊；

根據所述特征圖像塊對所述第一分類單證圖像進行旋轉角度預測，獲得調整角度；

根據所述調整角度對所述第一粗分類單證圖像像進行角度調整；

對角度調整后的所述第一粗分類單證圖像進行文字檢測，獲得至少一個包括文字的文本區域。

可選地，所述將每一所述文本區域進行分割，獲得至少一個文本圖像塊，所述方法包括：

提取所述文本區域的淺層特征，獲得文本淺層特征集；

根據所述文本淺層特征集對所述文本區域進行實例預測，獲得至少一個文本實例；

根據所述文本區域的坐標對所述文本實例進行分割，獲得至少一個文本圖像塊。