[發明專利]詞嵌入模型的訓練方法及裝置

有效

• 申請號: 201811083305.8
• 申請日: 2018-09-17
• 公開（公告）號: CN109308354B
• 公開（公告）日: 2019-08-27
• 發明（設計）人: 李健銓;劉小康;陳瑋
• 申請（專利權）人: 北京神州泰岳軟件股份有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 北京弘權知識產權代理事務所(普通合伙) 11363
• 代理人: 逯長明;許偉群

1.一種詞嵌入模型的訓練方法，其特征在于，包括以下步驟：

利用詞嵌入矩陣，將訓練樣本的輸入詞向量化表示為第一向量；

根據所述第一向量得到預測詞；

利用所述預測詞，以及所述輸入詞所對應的真實詞，更新所述輸入詞在詞嵌入矩陣中所對應的參數；

獲取目標詞的近義詞集，所述目標詞包括所述輸入詞或所述真實詞；

更新所述近義詞集中的至少一個近義詞在詞嵌入矩陣中對應的參數，以縮短所述至少一個近義詞與所述目標詞之間的距離；其中，所述至少一個近義詞中包括至少一個遠距離近義詞，所述遠距離近義詞與所述目標詞之間的距離大于或等于所述目標詞的至少一個反義詞與所述目標詞之間的距離。

2.根據權利要求1所述的詞嵌入模型的訓練方法，其特征在于，所述詞嵌入模型的目標函數為：

L(H)＝L+α·J(w_t,w_syn)，

其中，L為第一目標函數，表示CBOW模型或Skip-gram模型的目標函數；

w_t表示目標詞，w_syn表示目標詞的近義詞集；

J(w_t,w_syn)為第二目標函數，表示所述至少一個近義詞與所述目標詞之間的距離；

α表示影響因子。

3.根據權利要求2所述的詞嵌入模型的訓練方法，其特征在于，

其中，w_t表示目標詞，w_i表示所述至少一個近義詞中的一個近義詞；

J(w_t,w_i)表示所述至少一個近義詞中的一個近義詞w_i與目標詞w_t之間的距離。

4.根據權利要求3所述的詞嵌入模型的訓練方法，其特征在于，更新所述近義詞集中的至少一個近義詞在詞嵌入矩陣中對應的參數的步驟，包括：

w_ij^(new)＝w_ij+η·Gradient(w_ij)，

其中，w_ij^(new)表示近義詞w_i的第j維在更新后的值；

η表示第二學習率；

Gradient(w_ij)表示近義詞w_i的第j維的更新梯度；

表示目標詞w_t與近義詞w_i之間的距離值，對w_i的第j維的偏導數；

w_ij表示近義詞w_i的第j維在更新之前的值；

w_tj表示目標詞的第j維的值。

5.根據權利要求4所述的詞嵌入模型的訓練方法，其特征在于，第二學習率η通過以下方式得到：

η＝α·μ，

其中，α表示影響因子；

μ表示第一學習率；

μ₀表示第一學習率預設初始值；

train_words表示訓練語料的總詞數；

word_ca表示當前已經訓練過的輸入詞的數量；

iter表示當前訓練的迭代輪次。

6.根據權利要求4所述的詞嵌入模型的訓練方法，其特征在于，當更新梯度Gradient(w_ij)的絕對值＞max_Gradient時，取所述Gradient(w_ij)＝max_Gradient；

其中，max_Gradient為梯度最大值；

starting_mG表示梯度最大值的預設初始值；

train_words表示訓練語料的總詞數；

word_ca表示當前已經訓練過的輸入詞的數量；

iter表示當前訓練的迭代輪次。