[發明專利]詞嵌入模型的訓練方法及裝置

有效

• 申請號: 201811083302.4
• 申請日: 2018-09-17
• 公開（公告）號: CN109190126B
• 公開（公告）日: 2023-08-15
• 發明（設計）人: 李健銓;劉小康;陳瑋
• 申請（專利權）人: 北京神州泰岳軟件股份有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/284;G06F40/247;G06F16/36
• 代理公司: 北京弘權知識產權代理有限公司 11363
• 代理人: 逯長明;許偉群

1.一種詞嵌入模型的訓練方法，其特征在于，包括以下步驟：

利用詞嵌入矩陣，將訓練樣本的輸入詞向量化表示為第一向量；

根據所述第一向量得到預測詞；

利用所述預測詞，以及所述輸入詞所對應的真實詞，更新所述輸入詞在詞嵌入矩陣中所對應的參數；

獲取目標詞的近義詞集，所述目標詞包括所述輸入詞或所述真實詞；

從所述近義詞集中確定一個榜樣詞；

更新所述目標詞在詞嵌入矩陣中所對應的參數，以縮短所述目標詞與所述榜樣詞之間的距離。

2.根據權利要求1所述的詞嵌入模型的訓練方法，其特征在于，從所述近義詞集中確定一個榜樣詞的步驟，包括：

從所述近義詞集中確定子集，所述子集中的每一個近義詞與所述目標詞的反義詞分別處于所述目標詞的兩側；

從所述子集中確定一個榜樣詞。

3.根據權利要求1所述的詞嵌入模型的訓練方法，其特征在于，所述詞嵌入模型的目標函數L(H)為：

L(H)＝L+α·J(w_t,w_i)，

其中，L為第一目標函數，表示CBOW模型或Skip模型的目標函數；

w_t表示目標詞，w_i表示選自所述近義詞集的榜樣詞；

J(w_t,w_i)為第二目標函數，表示榜樣詞w_i與所述目標詞w_t之間的距離；

α表示影響因子。

4.根據權利要求3所述的詞嵌入模型的訓練方法，其特征在于，

5.根據權利要求4所述的詞嵌入模型的訓練方法，其特征在于，更新所述目標詞在詞嵌入矩陣中所對應的參數的步驟，包括：

w_tj^(new)＝w_tj+η·Gradient(w_tj)，

其中，w_tj^(new)表示目標詞w_t的第j維在更新后的值；

η表示第二學習率；

Gradient(w_tj)表示目標詞w_t的第j維的更新梯度；

表示目標詞w_t與榜樣詞w_i之間的距離值，對目標詞w_t的第j維的偏導數；

w_tj表示目標詞w_t的第j維在更新之前的值；

w_ij表示榜樣詞的第j維的值。

6.根據權利要求5所述的詞嵌入模型的訓練方法，其特征在于，第二學習率η通過以下方式得到：

η＝α·μ，

其中，α表示影響因子；

μ表示第一學習率；

μ₀表示第一學習率預設初始值；

train_words表示訓練語料的總詞數；

word_ca表示當前已經訓練過的輸入詞的數量；

iter表示當前訓練的迭代輪次。

7.根據權利要求5所述的詞嵌入模型的訓練方法，其特征在于，當更新梯度Gradient(w_tj)的絕對值＞max_Gradient時，取所述Gradient(w_tj)＝max_Gradient；

其中，max_Gradient為梯度最大值；

starting_mG表示梯度最大值的預設初始值；

train_words表示訓練語料的總詞數；

word_ca表示當前已經訓練過的輸入詞的數量；

iter表示當前訓練的迭代輪次。