[發明專利]一種基于動態融合機制的多模態詞匯表示方法

有效

• 申請號: 201710577334.9
• 申請日: 2017-07-14
• 公開（公告）號: CN107480196B
• 公開（公告）日: 2020-02-07
• 發明（設計）人: 王少楠;張家俊;宗成慶
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06F16/36
• 分類號: G06F16/36
• 代理公司: 11482 北京瀚仁知識產權代理事務所(普通合伙)
• 代理人: 郭文浩;王世超

本發明的多模態詞匯表示方法包括分別計算待表示詞匯在文本模態中的文本表示向量、以及待表示詞匯在視覺模態中的圖片表示向量；將文本表示向量輸入預先建立的文本模態權重模型，得到文本表示向量在文本模態中的權重；將圖片表示向量輸入預先建立的視覺模態權重模型，得到圖片表示向量在圖片模態中的權重；根據文本表示向量、圖片表示向量以及分別與文本表示向量和圖片表示向量對應的權重，計算得到多模態詞匯表示向量。其中，文本模態權重模型為輸入為文本表示向量、輸出為文本表示向量在對應文本模態中的權重的神經網絡模型；視覺模態權重模型為輸入為圖片表示向量、輸出為圖片表示向量在對應視覺模態中的權重的神經網絡模型。

技術領域

本發明屬于自然語言處理技術領域，具體提供一種基于動態融合機制的多模態詞匯表示方法。

背景技術

多模態詞匯表示是自然語言處理的基礎任務，直接影響到整個自然語言處理系統的性能。其中，模態是指對一個待描述的事物，通過不同的方法或者角度收集數據，將收集數據的方法或者角度稱之為一個模態。多模態詞匯表示是融合多個模態的信息，將不同模態中語義相近的詞匯映射到一個高維空間中，與單一模態詞匯表示相比，多模態詞匯表示能夠更加接近人學習詞匯概念的過程，在自然語言處理任務中具有更好的表現效果。

現有技術中的多模態詞匯表示方法是將各種單一模態的詞匯表示進行組合，根據詞匯表示向量和詞匯在不同模態中的權重計算多模態詞匯表示向量。現有技術的多模態詞匯表示方法沒有考慮到詞匯間的差異，在實際應用中，越是抽象的詞匯的語義表示越依賴文本模態，越是具象的詞匯的語義表示越依賴視覺模態，不同類型的詞匯在不同模態中的權重不同，不對詞匯進行區分將導致詞匯在模態中的權重不準確，從而導致最后的表示結果不準確。

相應地，本領域需要一種新的多模態表示方法來解決上述問題。

發明內容

為了解決現有技術中的上述問題，即為了解決現有技術不能準確地表達多模態表示詞匯，本發明的一方面，提供了一種基于動態融合機制的多模態詞匯表示方法，應用于自然語言處理系統，包括：

分別計算待表示詞匯在文本模態中的文本表示向量、以及所述待表示詞匯在視覺模態中的圖片表示向量；

將所述文本表示向量輸入預先建立的文本模態權重模型，得到所述文本表示向量在所述文本模態中的權重；將所述圖片表示向量輸入預先建立的視覺模態權重模型，得到所述圖片表示向量在所述圖片模態中的權重；

根據所述文本表示向量、所述圖片表示向量以及分別與所述文本表示向量和所述圖片表示向量對應的權重，計算得到多模態詞匯表示向量；

其中，

所述文本模態權重模型為輸入為文本表示向量、輸出為文本表示向量在對應文本模態中的權重的神經網絡模型；

所述視覺模態權重模型為輸入為圖片表示向量、輸出為圖片表示向量在對應視覺模態中的權重的神經網絡模型。

在上述方法的優選技術方案中，當所述待表示詞匯只有文本表示向量時，計算所述待表示詞匯在所述視覺模態中的圖片表示向量的方法為：

根據預先建立的文本表示向量和圖片表示向量的映射關系，計算所述待表示詞匯只有文本表示向量對應的圖片表示向量。

在上述方法的優選技術方案中，所述文本表示向量和圖片表示向量的映射關系的計算方法為：

依據文本表示向量、以及與該文本表示向量共有詞匯的圖片表示向量，基于如下公式，利用嶺回歸方法計算得到文本表示向量和圖片表示向量的映射關系，

其中，A表示回歸參數，X表示文本表示向量矩陣，Y表示圖片表示向量矩陣。

在上述方法的優選技術方案中，所述文本模態權重模型、以及所述視覺模態權重模型均為前饋神經網絡。