[發明專利]詞向量訓練方法及裝置

有效

• 申請號: 201710022458.0
• 申請日: 2017-01-12
• 公開（公告）號: CN106897265B
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 李建欣;劉垚鵬;彭浩;張日崇;陳漢騰
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/242;G06F16/23
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 楊澤;劉芳

1.一種詞向量訓練方法，其特征在于，包括：

獲取新增詞匯庫，所述新增詞匯庫中的詞匯與舊詞匯庫中的詞匯構成新詞匯庫，所述舊詞匯庫中的詞匯對應有舊詞向量；

對所述新詞匯庫中的詞匯進行初始化處理，使得所述新詞匯庫中屬于所述舊詞匯庫中的詞匯的詞向量為舊詞向量，所述新詞匯庫中屬于所述新增詞匯庫中的詞匯詞向量為隨機詞向量；

根據所述新詞匯庫對應的第一哈夫曼樹和所述舊詞匯庫對應的第二哈夫曼樹分別對所述新詞匯庫中詞匯的詞向量進行更新；

其中，所述根據所述新詞匯庫對應的第一哈夫曼樹和所述舊詞匯庫對應的第二哈夫曼樹分別對所述新詞匯庫中詞匯的詞向量進行更新，包括：

獲取第一詞匯對應的預設目標函數，所述第一詞匯為所述新詞匯庫中的詞匯；

根據所述第一詞匯在所述第一哈夫曼樹的屬性和在所述第二哈夫曼樹的屬性對所述預設目標函數進行梯度處理，得到所述第一詞匯對應的詞向量；

其中，所述獲取第一詞匯對應的預設目標函數，包括：

若所述第一詞匯屬于所述舊詞匯庫，則根據Skip-gram模型的原始目標函數對所述第一詞匯進行因式分解，得到所述第一詞匯對應的預設目標函數；

若所述第一詞匯屬于所述新增詞匯庫，則所述第一詞匯對應的預設目標函數為所述Skip-gram模型的原始目標函數；

或者，所述獲取第一詞匯對應的預設目標函數，包括：

若所述第一詞匯屬于所述舊詞匯庫，則根據CBOW模型的原始目標函數對所述第一詞匯進行因式分解，得到所述第一詞匯對應的預設目標函數；

若所述第一詞匯屬于所述新增詞匯庫，則所述第一詞匯對應的預設目標函數為所述CBOW模型的原始目標函數。

2.根據權利要求1所述的方法，其特征在于，所述獲取第一詞匯對應的預設目標函數，包括：

若所述第一詞匯屬于所述舊詞匯庫，則根據對所述第一詞匯進行因式分解，得到所述第一詞匯對應的預設目標函數；

若所述第一詞匯屬于所述新增詞匯庫，則所述第一詞匯對應的預設目標函數為Skip-gram模型的原始目標函數

其中，w表示所述第一詞匯，W表示所述舊詞匯庫，ΔW表示所述新增詞匯庫，C(w)表示w上下文對應的詞匯構成的詞匯庫，u表示w上下文對應的詞匯，代表w為非葉子節點時，在第二哈夫曼樹和在第一哈夫曼樹上匹配的哈夫曼編碼的長度，j表示所述第一詞匯為所述第二哈夫曼樹上的第j個節點，表示u對應的第一哈夫曼路徑上第j-1個節點的詞向量，表示u代表的第二哈夫曼路徑上第j個節點的哈夫曼編碼，表示激活函數，v(w)表示w對應的詞向量；L′^u表示詞匯u在第一哈夫曼樹上的編碼長度。

3.根據權利要求1所述的方法，其特征在于，所述獲取第一詞匯對應的預設目標函數，包括：

若所述第一詞匯屬于所述舊詞匯庫，則根據

對所述第一詞匯進行因式分解，得到所述第一詞匯對應的預設目標函數；

若所述第一詞匯屬于所述新增詞匯庫，則所述第一詞匯對應的預設目標函數為CBOW模型的原始目標函數；

其中，表示w代表的第二哈夫曼路徑上第i個節點的哈夫曼編碼，表示C(w)中所有詞匯對應的詞向量相加之和；

w表示所述第一詞匯，W表示所述舊詞匯庫，ΔW表示所述新增詞匯庫，C(w)表示w上下文對應的詞匯構成的詞匯庫，代表w為非葉子節點時在第二哈夫曼樹和在第一哈夫曼樹上匹配的哈夫曼編碼的長度；i表示所述第一詞匯為所述第二哈夫曼樹上的第i個節點，表示w對應的第一哈夫曼路徑上第i-1個節點的詞向量，L'^w表示第一詞匯w在第一哈夫曼樹上的編碼長度，表示激活函數。