[發明專利]多模態模型的訓練方法、裝置、計算機設備及存儲介質

有效

• 申請號: 202211364032.0
• 申請日: 2022-11-02
• 公開（公告）號: CN115410212B
• 公開（公告）日: 2023-02-07
• 發明（設計）人: 舒暢;肖京;陳又新
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06V30/19
• 分類號: G06V30/19;G06V30/18;G06V30/148;G06V10/82;G06N3/08;G06N3/04;G06F40/289
• 代理公司: 深圳市明日今典知識產權代理事務所(普通合伙) 44343
• 代理人: 王杰輝;曹勇

本申請涉及計算機技術領域，可用于金融、醫療等領域的圖文摘要生成，特別是涉及到一種多模態模型的訓練方法、裝置、設備及介質，所述方法包括如下步驟：獲取第一特征向量；獲取第二特征向量；將第一特征向量和第二特征向量輸入待訓練多模態模型，待訓練多模態模型包括編碼層和解碼層；通過編碼層獲取對應的第一編碼特征向量和第二編碼特征向量；通過解碼層解碼第一編碼特征向量和第二編碼特征向量并生成圖文摘要；通過預設的損失函數對待訓練多模態模型進行訓練，直至待訓練多模態模型中的參數收斂，得到多模態模型。本申請通過訓練多模態模型，使得多模態模型具備生成圖文結合的圖文摘要性能，進而得到圖文摘要。

技術領域

本申請涉及計算機技術領域，特別是涉及到一種多模態模型的訓練方法、裝置、計算機設備及存儲介質。

背景技術

文本摘要是指通過各種技術，對文本或者是文本集合，抽取、總結或是精煉其中的要點信息，用以概括和展示原始文本（集合）的主要內容或大意。作為文本生成任務的主要方向之一，從本質上而言，這是一種信息壓縮技術。

在醫療、金融領域中文獻中的摘要，常通過傳統的摘要生成技術生成文獻摘要。傳統的摘要生成技術一般是單模態摘要，即純文本摘要。為獲取多模型摘要，常使用兩個不同的編碼器對文本和圖像分別進行編碼，然后將各自的特征進行拼接并輸入解碼器中解碼，進而生成圖文摘要。由于生成圖文結合的摘要是使用不同的編碼器分別對文本和圖片進行處理，使得生成的圖文摘要匹配度不高。因此，優化圖文摘要的生成技術，獲取高匹配度的圖文摘要是目前需要解決的問題。

發明內容

本申請的主要目的為提供一種多模態模型的訓練方法、裝置、計算機設備及存儲介質，旨在優化圖文摘要的生成技術，進而得到高匹配度的圖文摘要。

為了實現上述發明目的，本申請提出一種多模態模型的訓練方法，所述方法包括：

獲取第一特征向量，所述第一特征向量為圖片特征向量；

獲取第二特征向量，所述第二特征向量為文本特征向量；

將所述第一特征向量和所述第二特征向量輸入待訓練多模態模型，所述待訓練多模態模型包括編碼層和解碼層；

通過所述編碼層獲取對應的第一編碼特征向量和第二編碼特征向量；

將所述第一編碼特征向量和所述第二編碼特征向量輸出至所述解碼層，通過所述解碼層解碼所述第一編碼特征向量和所述第二編碼特征向量并生成圖文摘要；

通過預設的損失函數對所述待訓練多模態模型進行訓練，直至所述待訓練多模態模型中的參數收斂，得到多模態模型。

進一步地，所述獲取第一特征向量，所述第一特征向量為圖片特征向量，包括：

讀取圖片訓練集中的圖片；

切分所述圖片，獲取多張子圖片；

對每一張所述子圖片進行位置編碼，得到圖片位置編碼向量；

將多張所述子圖片輸入全連接神經網絡，獲取圖片子特征向量；

依據所述圖片位置編碼向量和所述圖片子特征向量生成圖片特征向量。

進一步地，所述獲取第二特征向量，所述第二特征向量為文本特征向量，包括：

讀取文本訓練集中的文本信息；

拆分所述文本信息，得到多個文字分詞；

對每一個所述文字分詞進行位置編碼，得到文字位置編碼向量；

將多個所述文字分詞輸入全連接神經網絡，獲取文本子特征向量；

依據所述文字位置編碼向量和所述文本子特征向量生成文本特征向量。