[發明專利]一種基于動態融合機制的多模態詞匯表示方法有效
| 申請號： | 201710577334.9 | 申請日： | 2017-07-14 |
| 公開（公告）號： | CN107480196B | 公開（公告）日： | 2020-02-07 |
| 發明（設計）人： | 王少楠;張家俊;宗成慶 | 申請（專利權）人： | 中國科學院自動化研究所 |
| 主分類號： | G06F16/36 | 分類號： | G06F16/36 |
| 代理公司： | 11482 北京瀚仁知識產權代理事務所(普通合伙) | 代理人： | 郭文浩;王世超 |
| 地址： | 100080 *** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 基于 動態 融合 機制 多模態 詞匯 表示 方法 | ||
1.一種基于動態融合機制的多模態詞匯表示方法，應用于自然語言處理系統，其特征在于，包括：
分別計算待表示詞匯在文本模態中的文本表示向量、以及所述待表示詞匯在視覺模態中的圖片表示向量；
將所述文本表示向量輸入預先建立的文本模態權重模型，得到所述文本表示向量在所述文本模態中的權重；將所述圖片表示向量輸入預先建立的視覺模態權重模型，得到所述圖片表示向量在所述圖片模態中的權重；
根據所述文本表示向量、所述圖片表示向量以及分別與所述文本表示向量和所述圖片表示向量對應的權重，計算得到多模態詞匯表示向量；
其中，
所述文本模態權重模型為輸入為文本表示向量、輸出為文本表示向量在對應文本模態中的權重的神經網絡模型；
所述視覺模態權重模型為輸入為圖片表示向量、輸出為圖片表示向量在對應視覺模態中的權重的神經網絡模型。
2.根據權利要求1所述的方法，其特征在于，當所述待表示詞匯只有文本表示向量時，計算所述待表示詞匯在所述視覺模態中的圖片表示向量的方法為：
根據預先建立的文本表示向量和圖片表示向量的映射關系，計算所述待表示詞匯只有文本表示向量對應的圖片表示向量。
3.根據權利要求2所述的方法，其特征在于，所述文本表示向量和圖片表示向量的映射關系的計算方法為：
依據文本表示向量、以及與該文本表示向量共有詞匯的圖片表示向量，基于如下公式，利用嶺回歸方法計算得到文本表示向量和圖片表示向量的映射關系，
其中，A表示回歸參數，X表示文本表示向量矩陣，Y表示圖片表示向量矩陣。
4.根據權利要求1所述的方法，其特征在于，所述文本模態權重模型、以及所述視覺模態權重模型均為前饋神經網絡。
5.根據權利要求1所述的方法，其特征在于，所述計算得到多模態詞匯表示向量的方法為：
將所述文本表示向量與所述圖片表示向量分別與其對應的權重進行內積操作，分別得到文本表示向量操作結果與圖片表示向量操作結果，將所述文本表示向量操作結果與所述圖片表示向量操作結果進行拼接，得到所述多模態詞匯表示向量。
6.根據權利要求1所述的方法，其特征在于，所述計算得到多模態詞匯表示向量的方法為：
將所述文本表示向量與所述圖片表示向量進行內積操作，得到第一內積操作結果；將所述文本表示向量對應的權重與所述圖片表示向量對應的權重進行內積操作，得到第二內積操作結果；將所述第一內積操作結果與所述第二內積操作結果進行拼接，得到所述多模態詞匯表示向量。
7.根據權利要求1至6任一項所述的方法，其特征在于，所述文本模態權重模型中，文本表示向量在對應文本模態中的權重gtext的計算公式為：
gtext＝tanh(Wtexthtext+btext)，
其中，Wtext、btext均表示文本模態的神經網絡模型參數，htext表示文本表示向量；
所述視覺模態權重模型中，圖片表示向量在對應視覺模態中的權重gimmage的計算公式為：
gimage＝tanh(Wimagehimage+bimage)，
其中，Wimage、bimage均表示視覺模態的神經網絡模型參數，himage表示圖片表示向量。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于中國科學院自動化研究所，未經中國科學院自動化研究所許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201710577334.9/1.html，轉載請聲明來源鉆瓜專利網。
- 上一篇：一種基于索引關系的古文獻統一邏輯檢索方法
- 下一篇：實體詞識別方法及裝置
