[發(fā)明專利]詞向量訓練方法和裝置

有效

• 申請?zhí)枺?/td>: 201710023520.8
• 申請日: 2017-01-12
• 公開（公告）號: CN106802888B
• 公開（公告）日: 2020-01-24
• 發(fā)明（設計）人: 李建欣;劉垚鵬;彭浩;陳漢騰;張日崇
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F16/31
• 代理公司: 11205 北京同立鈞成知識產權代理有限公司
• 代理人: 張蓮蓮;劉芳

本發(fā)明提供一種詞向量訓練方法和裝置，其中詞向量訓練方法包括：獲取新增詞匯庫，新增詞匯庫中的詞匯與舊詞匯庫中的詞匯構成新詞匯庫，舊詞匯庫中的詞匯對應有舊詞向量；對新詞匯庫中的詞匯進行初始化處理，使得新詞匯庫中屬于舊詞匯庫中的詞匯的詞向量為舊詞向量，新詞匯庫中屬于新增詞匯庫中的詞匯詞向量為隨機詞向量；根據(jù)舊詞匯庫對應的噪聲分布和新詞匯庫對應的噪聲分布分別對新詞匯庫中詞匯的詞向量進行更新。本發(fā)明提供的詞向量訓練方法和裝置，減少了訓練詞向量時的計算量。

技術領域

本發(fā)明涉及機器學習技術，尤其涉及一種詞向量訓練方法和裝置。

背景技術

在機器學習技術中，為了使機器理解人類語言的含義，神經網絡語言模型的詞表示工具將人類語言中的每個詞匯都轉換成詞向量的形式，使得計算機能夠通過詞向量學習到人類語言中每個詞匯的含義。

現(xiàn)有技術中，詞表示工具通過學習詞匯庫中的所有的詞匯得到各個詞匯的詞向量。

采用現(xiàn)有技術，當詞匯庫中加入新的詞匯后，由于每個詞出現(xiàn)的頻率發(fā)生了變化，需要重新學習新的詞匯庫中的所有的詞匯，以得到各個詞匯新的詞向量，訓練詞向量時的計算量較大。

發(fā)明內容

本發(fā)明提供一種詞向量訓練方法和裝置，減少了詞向量訓練時的計算量。

本發(fā)明提供一種詞向量訓練方法，包括：

獲取新增詞匯庫，所述新增詞匯庫中的詞匯與舊詞匯庫中的詞匯構成新詞匯庫，所述舊詞匯庫中的詞匯對應有舊詞向量；

對所述新詞匯庫中的詞匯進行初始化處理，使得所述新詞匯庫中屬于所述舊詞匯庫中的詞匯的詞向量為舊詞向量，所述新詞匯庫中屬于所述新增詞匯庫中的詞匯詞向量為隨機詞向量；

根據(jù)所述舊詞匯庫對應的噪聲分布和所述新詞匯庫對應的噪聲分布分別對所述新詞匯庫中詞匯的詞向量進行更新。

在本發(fā)明一實施例中，所述根據(jù)所述舊詞匯庫對應的噪聲分布和所述新詞匯庫對應的噪聲分布分別對所述新詞匯庫中詞匯的詞向量進行更新，包括：

獲取第一詞匯對應的預設目標函數(shù)，所述第一詞匯為所述新詞匯庫中的詞匯；

根據(jù)所述第一詞匯在所述舊詞匯庫的屬性和在所述新詞匯庫的屬性對所述預設目標函數(shù)進行梯度處理，得到所述第一詞匯對應的詞向量。

在本發(fā)明一實施例中，所述獲取第一詞匯對應的預設目標函數(shù)，包括：

若所述第一詞匯屬于所述舊詞匯庫，則根據(jù)Skip-gram模型的原始目標函數(shù)對所述第一詞匯進行因式分解，得到所述第一詞匯對應的預設目標函數(shù)；

若所述第一詞匯屬于所述新增詞匯庫，則所述第一詞匯對應的預設目標函數(shù)為所述Skip-gram模型的原始目標函數(shù)。

在本發(fā)明一實施例中，所述獲取所述第一詞匯對應的預設目標函數(shù)，包括：

若所述第一詞匯屬于所述舊詞匯庫，則根據(jù)CBOW模型的原始目標函數(shù)對所述第一詞匯進行因式分解，得到所述第一詞匯對應的預設目標函數(shù)；

若所述第一詞匯屬于所述新增詞匯庫，則所述第一詞匯對應的預設目標函數(shù)為所述CBOW模型的原始目標函數(shù)。

在本發(fā)明一實施例中，所述根據(jù)Skip-gram模型的原始目標函數(shù)對所述第一詞匯進行因式分解，得到所述第一詞匯對應的預設目標函數(shù)，包括：根據(jù)

對所述第一詞匯因式分解，其中，w表示所述第一詞匯，W表示所述舊詞匯庫，NEG(w)表示處理所述第一詞匯w時生成的負樣本子集，表示w的上下文，表示所述第一詞匯w的目標函數(shù)，Context(w)表示所述對應的詞匯庫。