[發明專利]基于多模態深度學習分類模型的模態貢獻度的計算方法

在審

• 申請號: 202110563034.1
• 申請日: 2021-05-24
• 公開（公告）號: CN113313158A
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 吳興隆;徐國平
• 申請（專利權）人: 武漢工程大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/00
• 代理公司: 湖北武漢永嘉專利代理有限公司 42102
• 代理人: 唐萬榮;黃帥

1.一種基于多模態深度學習分類模型的模態貢獻度的計算方法，其特征在于，包括以下步驟：

基于多模態深度學習的端到端分類模型，獲得該模型在對某個多模態數據樣本進行推理過程中的模態特征向量；

對具有相同大小的模態特征向量進行權重求和并做歸一化處理，從而得到該多模態數據樣本的模態貢獻度，其計算公式如下：

滿足

式中，MCI_m，i是第i個樣本的第m個模態的貢獻度，F_{i，m，j}是第i個樣本的第m個模態特征向量中第j個分量，α_m是第m個模態的特征向量權重，FN是模態特征向量的大小，TM是多模態數據中的模態總數量。

2.根據權利要求1所述的基于多模態深度學習分類模型的模態貢獻度的計算方法，其特征在于，α_m為1/TM或作為分類模型的參數進而通過訓練得到。

3.根據權利要求1所述的基于多模態深度學習分類模型的模態貢獻度的計算方法，其特征在于，獲取數據集中全體樣本的模態貢獻度，從而得到該數據集的模態貢獻度，其計算公式如下：

滿足

式中，MCI_m是該數據集中第m個模態的貢獻度，β_i是第i個樣本的計算權重，N是該數據集的樣本總數。

4.根據權利要求3所述的基于多模態深度學習分類模型的模態貢獻度的計算方法，其特征在于，β_i為1/N或根據該樣本分類結果的概率值來設置。

5.根據權利要求1-4中任意一項所述的基于多模態深度學習分類模型的模態貢獻度的計算方法，其特征在于，多模態深度學習的端到端分類模型包括特征提取模塊、特征融合模塊和特征分類輸出模塊。

6.根據權利要求5所述的基于多模態深度學習分類模型的模態貢獻度的計算方法，其特征在于，特征提取模塊包括多個卷積神經網絡、前饋神經網絡和循環神經網絡，每個神經網絡對應于一種模態數據且神經網絡輸出的一維特征向量具有相同的大小。

7.根據權利要求6所述的基于多模態深度學習分類模型的模態貢獻度的計算方法，其特征在于，特征融合模塊包括長短期記憶網絡，用于融合特征提取模塊輸出的多個模態特征向量，獲取不同模態數據之間的依賴關系。

8.根據權利要求7所述的基于多模態深度學習分類模型的模態貢獻度的計算方法，其特征在于，特征分類輸出模塊包括前饋神經網絡，用于將特征融合模塊的輸出結果進行基于概率值的分類。