[發明專利]多模態編碼模型的訓練方法、裝置、電子設備及存儲介質

在審

• 申請號: 202210454358.6
• 申請日: 2022-04-27
• 公開（公告）號: CN115114443A
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 林鎮溪;張子恒
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06N5/02;G06F16/901;G06F16/335;G06F16/9535;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 高天華;胡春光

本申請提供了一種多模態編碼模型的訓練方法、裝置、電子設備及存儲介質；方法包括：調用待訓練的多模態編碼模型，對第一、第二樣本知識圖譜中的每個樣本實體進行編碼處理，得到每個樣本實體的至少兩個模態的模態特征；針對每個樣本實體進行以下處理：基于樣本實體的每個模態特征，確定樣本實體對應的模態間子對比損失；在每個模態下針對每個對齊實體對進行以下處理：基于對齊實體對的兩個模態特征，確定對齊實體對的模態內子對比損失；確定多模態編碼模型的模態間總對比損失、模態內總對比損失；基于模態間總對比損失以及模態內總對比損失，更新多模態編碼模型的參數。通過本申請，能夠提升多模態編碼模型針對知識圖譜對齊處理的準確性。

技術領域

本申請涉及人工智能技術，尤其涉及一種多模態編碼模型的訓練方法、裝置、電子設備及存儲介質。

背景技術

人工智能(Artificial Intelligence，AI)是利用數字計算機或者數字計算機控制的機器模擬、延伸和擴展人的智能，感知環境、獲取知識并使用知識獲得最佳結果的理論、方法、技術及應用系統。

多模態知識圖譜(Multi-Modal Knowledge Graph)中包含多種模態的數據，實體對齊處理，是判斷不同的多模態知識圖譜中的是否指向同一對象的實體，僅依據同一模態的數據難以確定實體是否對齊，因此，需要對不同模態的數據進行編碼處理，不同模態的特征之間存在差異性，進而影響了對齊知識圖譜的準確性，相關技術暫無對齊效果較好的編碼方案。

發明內容

本申請實施例提供一種多模態編碼模型的訓練方法、裝置、電子設備及存儲介質、計算機程序產品，能夠提升多模態編碼模型的編碼精準度，提升針對知識圖譜對齊處理的對齊結果的準確性。

本申請實施例的技術方案是這樣實現的：

本申請實施例提供一種多模態編碼模型的訓練方法，包括：

調用待訓練的多模態編碼模型，對第一樣本知識圖譜和第二樣本知識圖譜中的每個樣本實體進行編碼處理，得到每個所述樣本實體的至少兩個模態的模態特征，其中，所述第一樣本知識圖譜與所述第二樣本知識圖譜互相對齊；

針對每個所述樣本實體進行以下處理：基于所述樣本實體的每個所述模態特征，確定所述樣本實體對應的模態間子對比損失；

將所述第一樣本知識圖譜中每個所述樣本實體、以及所述第二樣本知識圖譜中與每個樣本實體對齊的樣本實體，組成對齊實體對；

在每個模態下針對每個對齊實體對進行以下處理：基于對齊實體對的兩個模態特征，確定對齊實體對的模態內子對比損失；

基于每個模態間子對比損失，確定多模態編碼模型的模態間總對比損失，以及基于每個模態內子對比損失，確定多模態編碼模型的模態內總對比損失；

基于模態間總對比損失以及模態內總對比損失，更新多模態編碼模型的參數。

本申請實施例提供一種多模態編碼模型的訓練裝置，包括：。

編碼模塊，配置為調用待訓練的多模態編碼模型，對第一樣本知識圖譜和第二樣本知識圖譜中的每個樣本實體進行編碼處理，得到每個樣本實體的至少兩個模態的模態特征，其中，第一樣本知識圖譜與第二樣本知識圖譜互相對齊；

損失獲取模塊，配置為針對每個樣本實體進行以下處理：基于樣本實體的每個模態特征，確定樣本實體對應的模態間子對比損失；

損失獲取模塊，還配置為將第一樣本知識圖譜中每個樣本實體、以及第二樣本知識圖譜中與每個樣本實體對齊的樣本實體，組成對齊實體對；

損失獲取模塊，還配置為在每個模態下針對每個對齊實體對進行以下處理：基于對齊實體對的兩個模態特征，確定對齊實體對的模態內子對比損失；