[發(fā)明專利]基于增量學習的詞向量生成方法和裝置

有效

• 申請?zhí)枺?/td>: 201710022618.1
• 申請日: 2017-01-12
• 公開（公告）號: CN106844342B
• 公開（公告）日: 2019-10-08
• 發(fā)明（設計）人: 張日崇;包夢蛟;劉垚鵬;彭浩;李建欣
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 北京同立鈞成知識產(chǎn)權代理有限公司 11205
• 代理人: 宋揚;劉芳

本發(fā)明實施例提供一種基于增量學習的詞向量生成方法和裝置。本發(fā)明基于增量學習的詞向量生成方法，包括：獲取原始語料庫的詞共現(xiàn)矩陣、新增語料庫的詞共現(xiàn)矩陣和所述原始語料庫的訓練結果參數(shù)，訓練結果參數(shù)包括梯度值和第一矩陣分解結果；將原始語料庫的訓練結果參數(shù)作為新增語料庫的初始訓練參數(shù)；使用所述新增語料庫的初始訓練參數(shù)、所述原始語料庫的詞共現(xiàn)矩陣和所述新增語料庫的詞共現(xiàn)矩陣采用梯度下降算法迭代優(yōu)化總目標函數(shù)，獲取第二矩陣分解結果，所述第二矩陣分解結果為使得所述總目標函數(shù)極小化的解；根據(jù)所述第二矩陣分解結果獲取多個詞向量。本發(fā)明實施例可以有效減少生成詞向量過程所消耗的時長。

技術領域

本發(fā)明實施例涉及計算機技術，尤其涉及一種基于增量學習的詞向量生成方法和裝置。

背景技術

詞向量是用一個向量來表示一個詞，從而將自然語言符號數(shù)學化，以便計算機對自然語言進行處理。

GloVe算法是一種新的詞向量生成的方法，其綜合運用了詞的全局統(tǒng)計信息和局部統(tǒng)計信息來生成語言模型和詞的向量化表示。GloVe算法集合了傳統(tǒng)的基于統(tǒng)計的詞向量模型和基于預測的詞向量模型的優(yōu)點，訓練過程更加簡單高效，生成的詞向量更能體現(xiàn)詞與詞之間的線性關系。

然而，GloVe算法并沒有考慮增量學習的情況，當語料庫發(fā)生增量變化的時候，全局共現(xiàn)矩陣發(fā)生了變化。GloVe算法只能合并原始語料庫和增量部分語料庫，得到合并后的語料庫，然后從初始狀態(tài)重新訓練整個語料庫，這樣會導致生成詞向量過程耗時較長。

發(fā)明內容

本發(fā)明實施例提供一種基于增量學習的詞向量生成方法和裝置，以有效減少生成詞向量過程所消耗的時長。

第一方面，本發(fā)明實施例提供一種基于增量學習的詞向量生成方法，包括：

獲取原始語料庫的詞共現(xiàn)矩陣、新增語料庫的詞共現(xiàn)矩陣和所述原始語料庫的訓練結果參數(shù)，所述訓練結果參數(shù)包括梯度值和第一矩陣分解結果；

將所述原始語料庫的訓練結果參數(shù)作為所述新增語料庫的初始訓練參數(shù)；

使用所述新增語料庫的初始訓練參數(shù)、所述原始語料庫的詞共現(xiàn)矩陣和所述新增語料庫的詞共現(xiàn)矩陣采用梯度下降算法迭代優(yōu)化總目標函數(shù)，獲取第二矩陣分解結果，所述第二矩陣分解結果為使得所述總目標函數(shù)極小化的解；

根據(jù)所述第二矩陣分解結果獲取多個詞向量。

第二方面，本發(fā)明實施例提供一種基于增量學習的詞向量生成裝置，包括：

獲取模塊，用于獲取原始語料庫的詞共現(xiàn)矩陣、新增語料庫的詞共現(xiàn)矩陣和所述原始語料庫的訓練結果參數(shù)，所述訓練結果參數(shù)包括梯度值和第一矩陣分解結果；

初始化模塊，用于將所述原始語料庫的訓練結果參數(shù)作為所述新增語料庫的初始訓練參數(shù)；

增量學習模塊，用于使用所述新增語料庫的初始訓練參數(shù)、所述原始語料庫的詞共現(xiàn)矩陣和所述新增語料庫的詞共現(xiàn)矩陣采用梯度下降算法迭代優(yōu)化總目標函數(shù)，獲取第二矩陣分解結果，所述第二矩陣分解結果為使得所述總目標函數(shù)極小化的解；

詞向量獲取模塊，用于根據(jù)所述第二矩陣分解結果獲取多個詞向量。

本發(fā)明實施例基于增量學習的詞向量生成方法和裝置，通過獲取原始語料庫的詞共現(xiàn)矩陣、新增語料庫的詞共現(xiàn)矩陣和所述原始語料庫的訓練結果參數(shù)，將所述原始語料庫的訓練結果參數(shù)作為所述新增語料庫的初始訓練參數(shù)，使用所述新增語料庫的初始訓練參數(shù)、所述原始語料庫的詞共現(xiàn)矩陣和所述新增語料庫的詞共現(xiàn)矩陣采用梯度下降算法迭代優(yōu)化總目標函數(shù)，獲取第二矩陣分解結果，根據(jù)所述第二矩陣分解結果獲取多個詞向量，本實施例通過設置與新增語料庫對應的增量目標函數(shù)，使得當語料庫隨著時間推移發(fā)生增量變化的時候，以原始語料庫的訓練結果參數(shù)為初始訓練參數(shù)，進一步訓練該新增語料庫，從而可以有效減少詞向量生成過程所消耗的時長。