[發明專利]多模態模型的訓練方法、裝置、計算機設備及存儲介質

有效

• 申請號: 202211364032.0
• 申請日: 2022-11-02
• 公開（公告）號: CN115410212B
• 公開（公告）日: 2023-02-07
• 發明（設計）人: 舒暢;肖京;陳又新
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06V30/19
• 分類號: G06V30/19;G06V30/18;G06V30/148;G06V10/82;G06N3/08;G06N3/04;G06F40/289
• 代理公司: 深圳市明日今典知識產權代理事務所(普通合伙) 44343
• 代理人: 王杰輝;曹勇

1.一種多模態模型的訓練方法，其特征在于，所述方法包括：

獲取第一特征向量，所述第一特征向量為圖片特征向量，所述圖片特征向量包括圖片位置編碼向量和圖片子特征向量，其中，所述圖片位置編碼向量使用sin函數和cos函數進行位置編碼得到；

獲取第二特征向量，所述第二特征向量為文本特征向量，所述文本特征向量包括文字位置編碼向量和文本子特征向量，其中，所述文字位置編碼向量使用sin函數和cos函數進行位置編碼得到；

將所述第一特征向量和所述第二特征向量輸入待訓練多模態模型，所述待訓練多模態模型包括編碼層和解碼層；

通過所述編碼層獲取對應的第一編碼特征向量和第二編碼特征向量；

將所述第一編碼特征向量和所述第二編碼特征向量輸出至所述解碼層，通過所述解碼層解碼所述第一編碼特征向量和所述第二編碼特征向量并生成圖文摘要；

通過預設的損失函數對所述待訓練多模態模型進行訓練，直至所述待訓練多模態模型中的參數收斂，得到多模態模型。

2.根據權利要求1所述的多模態模型的訓練方法，其特征在于，所述獲取第一特征向量，所述第一特征向量為圖片特征向量，包括：

讀取圖片訓練集中的圖片；

切分所述圖片，獲取多張子圖片；

對每一張所述子圖片使用sin函數和cos函數進行位置編碼，得到圖片位置編碼向量；

將多張所述子圖片輸入全連接神經網絡，獲取圖片子特征向量；

依據所述圖片位置編碼向量和所述圖片子特征向量生成圖片特征向量。

3.根據權利要求1所述的多模態模型的訓練方法，其特征在于，所述獲取第二特征向量，所述第二特征向量為文本特征向量，包括：

讀取文本訓練集中的文本信息；

拆分所述文本信息，得到多個文字分詞；

對每一個所述文字分詞使用sin函數和cos函數進行位置編碼，得到文字位置編碼向量；

將多個所述文字分詞輸入全連接神經網絡，獲取文本子特征向量；

依據所述文字位置編碼向量和所述文本子特征向量生成文本特征向量。

4.根據權利要求1所述的多模態模型的訓練方法，其特征在于，所述通過所述編碼層獲取對應的第一編碼特征向量和第二編碼特征向量，包括：

在所述編碼層中根據不同權重數據分別對所述第一特征向量和所述第二特征向量進行分析，得到第一分析數據和第二分析數據；

基于所述第一特征向量結合所述第一分析數據生成第一編碼特征向量；

基于所述第二特征向量結合所述第二分析數據生成第二編碼特征向量。

5.根據權利要求1所述的多模態模型的訓練方法，其特征在于，所述損失函數為 ；其中，

表示圖片損失函數；

表示文本損失函數。

6.根據權利要求5所述的多模態模型的訓練方法，其特征在于，所述通過預設的損失函數對所述待訓練多模態模型進行訓練，直至所述待訓練多模態模型中的參數收斂，得到多模態模型，包括：

通過所述圖片損失函數計算預測圖片與標注圖片之間的第一損失值；

通過所述文本損失函數計算預測文本與標注文本之間的第二損失值；

將所述第一損失值和所述第二損失值相加，得到損失值；

判斷所述損失值是否小于預設損失閾值；

若所述損失值小于所述預設損失閾值，則判定所述待訓練多模態模型完成訓練，得到多模態模型。

7.根據權利要求6所述的多模態模型的訓練方法，其特征在于，所述通過預設的損失函數對所述待訓練多模態模型進行訓練，直至所述待訓練多模態模型中的參數收斂，得到多模態模型之后，還包括：

獲取待處理文本及待處理圖片；

將所述待處理文本和所述待處理圖片輸入所述多模態模型；

基于所述多模態模型對所述待處理文本和所述待處理圖片進行處理，得到圖文結合的摘要文本。