[發明專利]多模態分類模型生成方法和裝置

在審

• 申請號: 202110394335.6
• 申請日: 2021-04-13
• 公開（公告）號: CN113762321A
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 李曉敏;李銀鋒;孔滕滕
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F16/31;G06N3/04
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種多模態分類模型生成方法，所述方法包括：

獲取預置的樣本集，所述樣本集至少包含一個樣本，所述樣本包括至少兩個不同模態的子樣本；

獲取預先建立的多模態融合網絡，所述多模態融合網絡包括：門限模塊、模態融合模塊以及至少兩個分類模型，各分類模型對不同模態數據進行分類；

執行以下訓練步驟：從所述樣本集中選取樣本；將該樣本的不同模態的子樣本分別輸入至與各模態對應的分類模型，得到各個分類模型輸出的特征向量，通過所述門限模塊由拼接的所有特征向量中計算得到門限向量，并將所有的特征向量和所述門限向量輸入所述模態融合模塊，響應于確定所述多模態融合網絡滿足訓練完成條件，則將所述多模態融合網絡作為多模態分類模型。

2.根據權利要求1所述的方法，其中，所述多模態融合網絡的訓練完成條件包括：

依次訓練所述多模態融合網絡中的各個分類模型和所述門限模塊、所述模態融合模塊；

在各個分類模型、所述門限模塊和所述模態融合模塊均訓練完成之后，對所述多模態融合網絡中的所有模塊同時進行訓練，直至所述多模態融合網絡訓練完成為止。

3.根據權利要求2所述的方法，其中，所述依次訓練所述多模態融合網絡中的各個分類模型、所述門限模塊和所述模態融合模塊包括：

切斷所述門限模塊的梯度反向傳播，針對所述多模態融合網絡中的每個分類模型，設置所述門限模塊的門限向量為與該分類模型對應的常數值；對該分類模型進行訓練，得到訓練完成的該分類模型；

在所有的分類模型均訓練完成之后，接通所述門限模塊的梯度反向傳播，固定訓練完成的所有的分類模型的參數，對所述門限模塊和所述模態融合模塊進行訓練，得到訓練完成的門限模塊和模態融合模塊。

4.根據權利要求3所述的方法，其中，分類模型包括：圖像分類模型、文本分類模型；所述針對所述多模態融合網絡中的每個分類模型，設置所述門限模塊的門限向量為與該分類模型對應的常數值；對該分類模型進行訓練，得到訓練完成的該分類模型，包括：

設置所述門限模塊分配給所述圖像分類模型的門限向量為設定維度的全一向量，設置所述門限模型分配給所述文本分類模型的門限向量為設定維度的全零向量；

對所述圖像分類模型進行訓練，得到訓練完成的圖像分類模型；

設置所述門限模塊分配給所述文本分類模型的門限向量為設定維度的全一向量，設置所述門限模型分配給所述圖像分類模型的門限向量為設定維度的全零向量；

對所述文本分類模型進行訓練，得到訓練完成的文本分類模型。

5.根據權利要求3所述的方法，其中，所述模態融合模塊采用如下公式對所有的特征向量和門限向量進行融合：

其中，i取值0～511之間的整數，i是512維向量的索引，表示圖像分類模型的特征向量的第i個值，表示文本分類模型的特征向量的第i個值，g_i表示門限模塊的門限向量的第i個值，表示模態融合模塊融合之后的向量的第i個值。

6.根據權利要求1-5之一所述的方法，其中，所述門限模塊包括：

串聯連接的兩個第一門限子模塊和一個第二門限子模塊；

所述第一門限子模塊包括：全連接層、批量歸一化層以及第一激活層；

所述第二門限子模塊包括：全連接層以及第二激活層，所述第一激活層的激活函數與所述第二激活層的激活函數不同。

7.一種多模態目標分類方法，所述方法包括：

獲取待分類的目標，所述目標具有至少兩種不同模態數據；

將所述目標輸入采用如權利要求1-6中任一項所述的方法生成的多模態分類模型中，得到所述多模態分類模型輸出的分類結果。