[發明專利]一種基于不定長上下文的詞向量生成方法

有效

• 申請號: 201710609471.6
• 申請日: 2017-07-25
• 公開（公告）號: CN107608953B
• 公開（公告）日: 2020-08-14
• 發明（設計）人: 王俊麗;王小敏;楊亞星
• 申請（專利權）人: 同濟大學
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/30;G06N3/08
• 代理公司: 上海科律專利代理事務所(特殊普通合伙) 31290
• 代理人: 葉鳳

1.一種基于不定長上下文的詞向量生成方法，其特征在于，

首先在對語料庫進行預處理后，使用標點符號劃分上下文，把語料庫劃分為長度不等，語義完整的上下文單元；

然后利用卷積神經網絡學習上下文中各詞的權重，這權重隨后和語料庫的全局分布結合生成上下文中各詞的最終權重；

隨后利用這最終權重和詞向量計算上下文的向量表達；

隨后利用上下文的向量表達構建和上下文中每個詞之間的一對多映射關系；

隨后通過隨機梯度算法訓練模型，并最終獲得詞向量；

具體包括如下步驟：

(1)文檔預處理，獲取訓練語料庫；

給定關于某專業領域的一組文檔集合，通過詞去掉停用詞和低頻詞預處理技術，獲取語料庫中有用信息，進而構成訓練語料庫；

(2)詞頻統計，統計語料分布；

基于文檔中詞語出現頻率的統計，生成語料庫的字典，字典中包含語料庫中的詞、詞的索引和詞的頻率；

(3)構建訓練集；

根據訓練語料庫中的標點符號，把語料庫劃分成長度不等的上下文，形成訓練集；

(4)計算上下文中詞向量的權重；

上下文中各詞的詞向量構成上下文矩陣；利用卷積神經網絡通過對上下文矩陣的卷積運算獲取各詞的權重，這權重再和語料庫中詞的頻率結合形成最終的權重；

(5)計算上下文的分布式表達；

結合步驟(4)中得到的詞向量的權重，獲得當前上下文的分布式表達；再利用循環神經網絡中的歷史上下文信息，生成最新的上下文的分布式表達，同時更新循環神經網絡中的歷史信息；

(6)模型推斷；

利用步驟(5)中獲得的上下文分布信息，構建上下文和上下文中的詞的一對多映射關系；構建模型的損失函數；

(7)訓練模型，獲得詞向量；

根據步驟(6)中構建的映射關系在訓練集上進行最優化訓練，訓練方法采用負采樣和隨機梯度下降算法；

在上述方法中，所述步驟(3)中使用了標點符號，這里所使用的標點符號是指包含比較完整分割語義的標點。

2.如權利要求1所述的一種基于不定長上下文的詞向量生成方法，其特征在于，所述步驟(4)使用了卷積神經網絡，卷積核的大小為[1,3,m,1]，其中m表示詞向量的維度大小；利用卷積神經網絡把形狀為[k,m]的上下文矩陣通過卷積生成形狀為[k,1]權重，其中k表示上下文中詞的個數；這權重再結合語料庫的分布計算出最終的權重。