[發(fā)明專利]一種圖像分類方法、裝置、電子設備及存儲介質

有效

• 申請?zhí)枺?/td>: 202110235776.1
• 申請日: 2021-03-03
• 公開（公告）號: CN112966522B
• 公開（公告）日: 2022-10-14
• 發(fā)明（設計）人: 庾悅晨;章成全;李煜林;張曉強;黃聚;欽夏孟;姚錕;劉經(jīng)拓;韓鈞宇;丁二銳
• 申請（專利權）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06V30/414;G06V20/62;G06V30/19;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種圖像分類方法，所述方法包括：

將待分類的文檔圖像輸入到預先訓練好的神經(jīng)網(wǎng)絡模型中，通過所述神經(jīng)網(wǎng)絡模型得到所述待分類的文檔圖像的各個文本框的特征子圖；

將各個文本框的特征子圖與預先得到的各個文本框的文本信息對應的語義特征和位置信息對應的位置特征輸入至預先訓練好的多模態(tài)特征融合模型中，通過所述多模態(tài)特征融合模型將所述各個文本框的特征子圖與預先得到的各個文本框的文本信息對應的語義特征和位置信息對應的位置特征融合為各個文本框對應的多模態(tài)特征；

基于各個文本框對應的多模態(tài)特征，通過預先訓練好的圖卷積模型得到各個文本框與所述待分類的文檔圖像中的其他文本框的關聯(lián)信息；

基于各個文本框與所述待分類的文檔圖像中的其他文本框的關聯(lián)信息，得到各個文本框對應的多模態(tài)特征；

基于各個文本框對應的多模態(tài)特征對所述待分類的文檔圖像進行分類。

2.根據(jù)權利要求1所述的方法，所述基于各個文本框對應的多模態(tài)信息特征對所述待分類的文檔圖像進行分類，包括：

將各個文本框對應的多模態(tài)信息特征進行池化操作，得到所述待分類的文檔圖像對應的多模態(tài)特征；

基于所述待分類的文檔圖像對應的多模態(tài)特征對所述待分類的文檔圖像進行分類。

3.根據(jù)權利要求1所述的方法，所述基于各個文本框對應的多模態(tài)特征，通過預先訓練好的圖卷積模型得到各個文本框與所述待分類的文檔圖像中的其他文本框的關聯(lián)信息，包括：

將各個文本框對應的多模態(tài)特征進行池化操作，得到各個文本框對應的文本框級別的特征；

將各個文本框對應的文本框級別的特征輸入至預先訓練好的圖卷積模型中，通過所述圖卷積模型得到各個文本框與所述待分類的文檔圖像中的其他文本框的關聯(lián)信息。

4.根據(jù)權利要求3所述的方法，在所述通過所述圖卷積模型得到各個文本框與所述待分類的文檔圖像中的其他文本框的關聯(lián)信息之后，所述方法還包括：

將各個文本框與所述待分類的文檔圖像中的其他文本框的關聯(lián)信息輸入至預先訓練好的圖學習卷積模型中，通過所述圖學習卷積模型得到各個文本框與所述待分類的文檔圖像中的其他文本框的更新后的關聯(lián)信息；執(zhí)行基于各個文本框與所述待分類的文檔圖像中的其他文本框的更新后的關聯(lián)信息對待分類的文檔圖像進行分類的操作。

5.根據(jù)權利要求1所述的方法，所述多模態(tài)特征融合模型由六層組成，每一層包括兩個子層：第一子層和第二子層；其中，所述第一子層是一個多頭自注意力層；所述第二子層是一個全連接前饋網(wǎng)絡；所述第一子層和所述第二子層的輸出向量的維度均為512維。

6.一種圖像分類裝置，所述裝置包括：特征圖獲取模塊、特征融合模塊和圖像分類模塊；其中，

所述特征圖獲取模塊，用于將待分類的文檔圖像輸入到預先訓練好的神經(jīng)網(wǎng)絡模型中，通過所述神經(jīng)網(wǎng)絡模型得到所述待分類的文檔圖像的各個文本框的特征子圖；

所述特征融合模塊，用于將各個文本框的特征子圖與預先得到的各個文本框的文本信息對應的語義特征和位置信息對應的位置特征輸入至預先訓練好的多模態(tài)特征融合模型中，通過所述多模態(tài)特征融合模型將所述各個文本框的特征子圖與預先得到的各個文本框的文本信息對應的語義特征和位置信息對應的位置特征融合為各個文本框對應的多模態(tài)特征；

所述圖像分類模塊，用于基于各個文本框對應的多模態(tài)特征對所述待分類的文檔圖像進行分類；

所述圖像分類模塊，還用于基于各個文本框對應的多模態(tài)特征，通過預先訓練好的圖卷積模型得到各個文本框與所述待分類的文檔圖像中的其他文本框的關聯(lián)信息；基于各個文本框與所述待分類的文檔圖像中的其他文本框的關聯(lián)信息，得到各個文本框對應的多模態(tài)特征。

7.根據(jù)權利要求6所述的裝置，所述圖像分類模塊，具體用于將各個文本框對應的多模態(tài)信息特征進行池化操作，得到所述待分類的文檔圖像對應的多模態(tài)特征；基于所述待分類的文檔圖像對應的多模態(tài)特征對所述待分類的文檔圖像進行分類。