[發明專利]基于多通道自編碼器的多模態詞匯表示方法與系統有效

申請號：	201810178559.1	申請日：	2018-03-05
公開（公告）號：	CN108536735B	公開（公告）日：	2020-12-15
發明（設計）人：	王少楠;張家俊;宗成慶	申請（專利權）人：	中國科學院自動化研究所
主分類號：	G06F16/9032	分類號：	G06F16/9032;G06F40/30;G06N3/04;G06N3/08
代理公司：	北京市恒有知識產權代理事務所(普通合伙) 11576	代理人：	郭文浩
地址：	100190 ***	國省代碼：	北京;11
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	基于通道編碼器多模態詞匯表示方法系統
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本發明涉及自然語言處理領域，具體涉及一種基于多通道自編碼器的多模態詞匯表示方法與系統，目的在于提高表示結果的準確性。本發明的詞匯表示方法，先通過向量數據庫查詢待表示詞匯的文本模態向量、視覺模態向量、音頻模態向量；對于沒有視覺模態和音頻模態的詞匯，利用訓練好的映射模型去預測缺失的視覺向量以及聽覺向量；再計算上述三種向量與對應模態權重的點積；最后將上述加權后的向量作為多通道自編碼器模型的輸入，對三種模態的信息進行融合，得到多模態的詞匯表示向量。本發明利用不同模態間的相關性，融合不同模態的信息，并引入模態權重，有效提高了詞匯表示的準確度。為了對不同模態進行更好的融合，還加入了聯想詞匯預測模塊。

技術領域

本發明涉及自然語言處理領域，具體涉及一種基于多通道自編碼器的多模態詞匯表示方法與系統。

背景技術

多模態詞匯表示是自然語言理解的基礎任務，直接影響到整個自然語言處理系統的性能。其中，模態是指不同類型的數據來源，如文本數據稱為文本模態，圖像數據稱為視覺模態。多模態詞匯表示是融合多個模態的信息，從數據的統計規律中挖掘詞匯的含義。與單一模態詞匯表示相比，多模態詞匯表示能夠更加接近人學習詞匯概念的過程，在自然語言處理任務中具有更好的表現效果。

大部分現有的多模態詞匯表示方法存在下述三個問題。一、現有方法忽略了不同模態間的相關性，這使得模型無法在模態之間傳遞信息，從而導致無法處理缺失某些模態信息的詞匯。二、現有方法大多采用級聯的方式對不同模態的語義向量進行融合，這種方法不能很好的融合不同模態的信息。三、現有的多模態詞匯表示方法沒有考慮到不同類型的詞匯對不同模態的依賴不同，這與人的常識不符而且不對詞匯進行區分將導致最后的表示結果不準確。

發明內容

為了解決現有技術中的上述問題，本發明提出了一種基于多通道自編碼器的多模態詞匯表示方法與系統，提高了表示結果的準確性。

本發明提出一種基于多通道自編碼器的多模態詞匯表示方法，包括以下步驟：

步驟A10，基于預先構建的向量數據庫，查詢待表示詞匯的三種表示向量：文本模態向量、視覺模態向量、音頻模態向量；

步驟A20，若查詢結果中缺失視覺模態向量和/或音頻模態向量，則基于訓練好的向量映射模型，根據所述待表示詞匯的文本模態向量，生成所述待表示詞匯的視覺模態向量和/或音頻模態向量；

步驟A30，基于訓練好的多通道自編碼器，輸入所述三種表示向量，生成所述待表示詞匯的多模態詞匯表示向量。

優選地，所述向量映射模型，包括文本模態向量與視覺模態向量之間的映射函數，以及文本模態向量與音頻模態向量之間的映射函數。

優選地，所述向量映射模型的訓練方法為：

利用既有文本模態向量又有視覺模態向量的詞匯作為訓練數據集，訓練文本模態向量與視覺模態向量之間的映射函數，目標函數為：

利用既有文本模態向量又有音頻模態向量的詞匯作為訓練數據集，訓練文本模態向量與音頻模態向量之間的映射函數，目標函數為：

其中，

m為用于訓練的既有文本模態向量又有視覺模態向量的詞匯數量；k為用于訓練的既有文本模態向量又有音頻模態向量的詞匯數量；f為映射函數；T_i為第i個詞匯的文本模態向量矩陣，V_i為第i個詞匯的視覺模態向量矩陣，A_i為第i個詞匯的音頻模態向量矩陣。