[發明專利]一種融合詞性與位置信息的詞向量訓練方法及系統

有效

• 申請號: 201710384135.6
• 申請日: 2017-05-26
• 公開（公告）號: CN107239444B
• 公開（公告）日: 2019-10-08
• 發明（設計）人: 文坤梅;李瑞軒;劉其磊;李玉華;辜希武;昝杰;楊琪
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06K9/62
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 廖盈春;李智

1.一種融合詞性與位置信息的詞向量訓練方法，其特征在于，包括如下步驟：

S1、對原始文本進行預處理得到目標文本；

S2、根據單詞的上下文信息，采用詞性標注集中的詞性對目標文本中的單詞進行詞性標注；

S3、根據標注的詞性信息進行建模構建詞性關聯權重矩陣M，以及針對詞性對所對應單詞對的相對位置i進行建模，構建與位置對應的位置詞性關聯權重矩陣M′_i，其中，矩陣M的行列維度為詞性標注集中詞性的種類大小，矩陣M中的元素為該元素的行對應單詞的詞性與該元素的列對應單詞的詞性的共現概率，矩陣M′_i的行列維度與矩陣M相同，矩陣M′_i中的元素為該元素的行對應單詞的詞性與該元素的列對應單詞的詞性在相對位置i時的共現概率；

S4、將建模后的矩陣M和矩陣M′_i融合到skip-gram詞向量模型中構建目標模型，由目標模型進行詞向量學習得到目標詞向量，其中，目標詞向量用于單詞類比任務以及單詞相似度任務。

2.根據權利要求1所述的方法，其特征在于，步驟S2具體包括以下子步驟：

S2.1、對目標文本進行分詞，以區分出目標文本中的所有單詞；

S2.2、對目標文本中的每個句子，根據單詞在句子中的上下文信息，采用詞性標注集中的詞性對單詞進行詞性標注。

3.根據權利要求1或2所述的方法，其特征在于，步驟S3具體包括以下子步驟：

S3.1、對目標文本中的每個單詞，生成針對單詞及其對應的詞性構成的單詞-詞性對，根據單詞-詞性對構建詞性關聯權重矩陣M，其中，矩陣M的行列維度為詞性標注集中詞性的種類大小，矩陣M中的元素為該元素的行對應單詞的詞性與該元素的列對應單詞的詞性的共現概率；

S3.2、針對詞性對所對應單詞對的相對位置i進行建模，構建與位置對應的位置詞性關聯權重矩陣M′_i，其中，矩陣M′_i的行列維度與矩陣M相同，矩陣M′_i中的元素為該元素的行對應單詞的詞性與該元素的列對應單詞的詞性在相對位置i時的共現概率。

4.根據權利要求3所述的方法，其特征在于，步驟S4具體包括以下子步驟：

S4.1、構建初始目標函數：其中，C表示整個訓練語料庫中的詞匯表，Context(w)表示由目標單詞w的前后各c個單詞組成的上下文單詞集，c表示窗口大小；

S4.2、將建模后的矩陣M和矩陣M′_i融合到基于負采樣的skip-gram詞向量模型中構建目標模型，并根據初始目標函數構建目標模型的新目標函數：其中，NEG(w)為對目標單詞w進行采樣的負樣本集，L^w(u)為樣本u的打分，正樣本打分為1，負樣本打分為0，θ^u為樣本詞在模型訓練過程中用到的輔助向量，為上下文單詞對應的詞向量的轉置，為T_u和兩詞性在相對位置關系為i時的共現概率；

S4.3、對新目標函數進行優化，將新目標函數取值最大化，并對參數θ^u、以及進行梯度計算和更新，并在對整個訓練語料庫遍歷完成時獲得目標詞向量。