[發明專利]一種多模態單證分類方法、系統、計算機設備及存儲介質

在審

• 申請號: 202310378465.X
• 申請日: 2023-04-07
• 公開（公告）號: CN116434245A
• 公開（公告）日: 2023-07-14
• 發明（設計）人: 劉穎
• 申請（專利權）人: 中國平安財產保險股份有限公司
• 主分類號: G06V30/19
• 分類號: G06V30/19;G06V30/148;G06V30/146;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 深圳市世聯合知識產權代理有限公司 44385
• 代理人: 羅志銘

1.一種多模態單證分類方法，其特征在于，所述方法包括：

對N個待分類單證圖像進行粗分類，獲得第一粗分類單證圖像；

提取所述第一粗分類單證圖像進行文本檢測，獲得至少一個文本區域；

將每一所述文本區域進行分割，獲得至少一個文本圖像塊；

將所述文本圖像塊輸入預先訓練的字段識別模型進行類別細分，獲得細分標簽；

根據所述細分標簽確定所述待分類單針圖像的目標類別，獲得目標分類單證圖像。

2.如權利要求1所述的一種多模態單證分類方法，其特征在于，所述對N個待分類單證圖像進行粗分類，獲得第一粗分類單證圖像，包括：

對所述待分類單證圖像進行圖像切割，獲得至少一個待選定區域；

根據預設的抑制條件對所述待選定區域進行冗余去除，獲得至少一個選定區域；

將所述選定區域輸入至預先訓練好的分類模型，獲得所述選定區域的第一置信度，所述第一置信度用于確定所述待分類單證圖像為所述粗分類中第一粗分類的概率；

提取滿足預設條件的所述第一置信度對應的所述待分類單證圖像，獲得第一粗分類單證圖像。

3.如權利要求2所述的一種多模態單證分類方法，其特征在于，所述對N個待分類單證圖像進行粗分類之后，所述方法還包括：

對所述待分類單證圖像進行圖像切割，獲得至少一個待選定區域；

根據預設的抑制條件對所述待選定區域進行冗余去除，獲得至少一個選定區域；

將所述選定區域輸入至預先訓練好的分類模型，獲得所述選定區域的第二置信度，所述第一置信度用于確定所述待分類單證圖像為所述粗分類中第二粗分類的概率；

提取滿足預設條件的所述第二置信度對應的所述待分類單證圖像，獲得第二粗分類單證圖像。

4.如權利要求1所述的一種多模態單證分類方法，其特征在于，所述提取所述第一粗分類單證圖像進行文本檢測，獲得至少一個文本區域，包括：

對所述第一粗分類單證圖像進行特征提取，獲得至少一個特征圖像塊；

根據所述特征圖像塊對所述第一分類單證圖像進行旋轉角度預測，獲得調整角度；

根據所述調整角度對所述第一粗分類單證圖像像進行角度調整；

對角度調整后的所述第一粗分類單證圖像進行文字檢測，獲得至少一個包括文字的文本區域。

5.如權利要求1所述的一種多模態單證分類方法，其特征在于，所述將每一所述文本區域進行分割，獲得至少一個文本圖像塊，包括：

提取所述文本區域的淺層特征，獲得文本淺層特征集；

根據所述文本淺層特征集對所述文本區域進行實例預測，獲得至少一個文本實例；

根據所述文本區域的坐標對所述文本實例進行分割，獲得至少一個文本圖像塊。

6.如權利要求1所述的一種多模態單證分類方法，其特征在于，所述根據所述細分標簽確定所述待分類單針圖像的目標類別，獲得目標分類單證圖像，包括：

基于所述細分標簽將所述文本圖像塊中對應的字段進行提取，獲得匹配字段；

提取預設匹配規則對所述匹配字段進行類別匹配；

若匹配成功，則獲得目標分類單證圖像；

若匹配失敗，則提取所述匹配失敗對應的所述第一粗分類單證輸入所述分類模型進行分類，獲得目標分類單證圖像。

7.如權利要求1所述的一種多模態單證分類方法，其特征在于，所述字識別模型包括：深層卷積層、循環層和轉錄層，

所述將所述文本圖像塊輸入預先訓練的字段識別模型進行類別細分，獲得細分標簽，包括：

將所述文本圖像塊輸入所述深層卷積層進行特征識別，獲得特征序列；

利用所述循環層對所述特征序列進行標簽預測，獲得預測分布；

利用轉錄層將所述預測分布和所述特征序列進行去重整合，獲得細分標簽。