[發(fā)明專(zhuān)利]詞向量訓(xùn)練方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710022458.0
• 申請(qǐng)日: 2017-01-12
• 公開(kāi)（公告）號(hào): CN106897265B
• 公開(kāi)（公告）日: 2020-07-10
• 發(fā)明（設(shè)計(jì)）人: 李建欣;劉垚鵬;彭浩;張日崇;陳漢騰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京航空航天大學(xué)
• 主分類(lèi)號(hào): G06F40/284
• 分類(lèi)號(hào): G06F40/284;G06F40/242;G06F16/23
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 楊澤;劉芳

1.一種詞向量訓(xùn)練方法，其特征在于，包括：

獲取新增詞匯庫(kù)，所述新增詞匯庫(kù)中的詞匯與舊詞匯庫(kù)中的詞匯構(gòu)成新詞匯庫(kù)，所述舊詞匯庫(kù)中的詞匯對(duì)應(yīng)有舊詞向量；

對(duì)所述新詞匯庫(kù)中的詞匯進(jìn)行初始化處理，使得所述新詞匯庫(kù)中屬于所述舊詞匯庫(kù)中的詞匯的詞向量為舊詞向量，所述新詞匯庫(kù)中屬于所述新增詞匯庫(kù)中的詞匯詞向量為隨機(jī)詞向量；

根據(jù)所述新詞匯庫(kù)對(duì)應(yīng)的第一哈夫曼樹(shù)和所述舊詞匯庫(kù)對(duì)應(yīng)的第二哈夫曼樹(shù)分別對(duì)所述新詞匯庫(kù)中詞匯的詞向量進(jìn)行更新；

其中，所述根據(jù)所述新詞匯庫(kù)對(duì)應(yīng)的第一哈夫曼樹(shù)和所述舊詞匯庫(kù)對(duì)應(yīng)的第二哈夫曼樹(shù)分別對(duì)所述新詞匯庫(kù)中詞匯的詞向量進(jìn)行更新，包括：

獲取第一詞匯對(duì)應(yīng)的預(yù)設(shè)目標(biāo)函數(shù)，所述第一詞匯為所述新詞匯庫(kù)中的詞匯；

根據(jù)所述第一詞匯在所述第一哈夫曼樹(shù)的屬性和在所述第二哈夫曼樹(shù)的屬性對(duì)所述預(yù)設(shè)目標(biāo)函數(shù)進(jìn)行梯度處理，得到所述第一詞匯對(duì)應(yīng)的詞向量；

其中，所述獲取第一詞匯對(duì)應(yīng)的預(yù)設(shè)目標(biāo)函數(shù)，包括：

若所述第一詞匯屬于所述舊詞匯庫(kù)，則根據(jù)Skip-gram模型的原始目標(biāo)函數(shù)對(duì)所述第一詞匯進(jìn)行因式分解，得到所述第一詞匯對(duì)應(yīng)的預(yù)設(shè)目標(biāo)函數(shù)；

若所述第一詞匯屬于所述新增詞匯庫(kù)，則所述第一詞匯對(duì)應(yīng)的預(yù)設(shè)目標(biāo)函數(shù)為所述Skip-gram模型的原始目標(biāo)函數(shù)；

或者，所述獲取第一詞匯對(duì)應(yīng)的預(yù)設(shè)目標(biāo)函數(shù)，包括：

若所述第一詞匯屬于所述舊詞匯庫(kù)，則根據(jù)CBOW模型的原始目標(biāo)函數(shù)對(duì)所述第一詞匯進(jìn)行因式分解，得到所述第一詞匯對(duì)應(yīng)的預(yù)設(shè)目標(biāo)函數(shù)；

若所述第一詞匯屬于所述新增詞匯庫(kù)，則所述第一詞匯對(duì)應(yīng)的預(yù)設(shè)目標(biāo)函數(shù)為所述CBOW模型的原始目標(biāo)函數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取第一詞匯對(duì)應(yīng)的預(yù)設(shè)目標(biāo)函數(shù)，包括：

若所述第一詞匯屬于所述舊詞匯庫(kù)，則根據(jù)對(duì)所述第一詞匯進(jìn)行因式分解，得到所述第一詞匯對(duì)應(yīng)的預(yù)設(shè)目標(biāo)函數(shù)；

若所述第一詞匯屬于所述新增詞匯庫(kù)，則所述第一詞匯對(duì)應(yīng)的預(yù)設(shè)目標(biāo)函數(shù)為Skip-gram模型的原始目標(biāo)函數(shù)

其中，w表示所述第一詞匯，W表示所述舊詞匯庫(kù)，ΔW表示所述新增詞匯庫(kù)，C(w)表示w上下文對(duì)應(yīng)的詞匯構(gòu)成的詞匯庫(kù)，u表示w上下文對(duì)應(yīng)的詞匯，代表w為非葉子節(jié)點(diǎn)時(shí)，在第二哈夫曼樹(shù)和在第一哈夫曼樹(shù)上匹配的哈夫曼編碼的長(zhǎng)度，j表示所述第一詞匯為所述第二哈夫曼樹(shù)上的第j個(gè)節(jié)點(diǎn)，表示u對(duì)應(yīng)的第一哈夫曼路徑上第j-1個(gè)節(jié)點(diǎn)的詞向量，表示u代表的第二哈夫曼路徑上第j個(gè)節(jié)點(diǎn)的哈夫曼編碼，表示激活函數(shù)，v(w)表示w對(duì)應(yīng)的詞向量；L′^u表示詞匯u在第一哈夫曼樹(shù)上的編碼長(zhǎng)度。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取第一詞匯對(duì)應(yīng)的預(yù)設(shè)目標(biāo)函數(shù)，包括：

若所述第一詞匯屬于所述舊詞匯庫(kù)，則根據(jù)

對(duì)所述第一詞匯進(jìn)行因式分解，得到所述第一詞匯對(duì)應(yīng)的預(yù)設(shè)目標(biāo)函數(shù)；

若所述第一詞匯屬于所述新增詞匯庫(kù)，則所述第一詞匯對(duì)應(yīng)的預(yù)設(shè)目標(biāo)函數(shù)為CBOW模型的原始目標(biāo)函數(shù)；

其中，表示w代表的第二哈夫曼路徑上第i個(gè)節(jié)點(diǎn)的哈夫曼編碼，表示C(w)中所有詞匯對(duì)應(yīng)的詞向量相加之和；

w表示所述第一詞匯，W表示所述舊詞匯庫(kù)，ΔW表示所述新增詞匯庫(kù)，C(w)表示w上下文對(duì)應(yīng)的詞匯構(gòu)成的詞匯庫(kù)，代表w為非葉子節(jié)點(diǎn)時(shí)在第二哈夫曼樹(shù)和在第一哈夫曼樹(shù)上匹配的哈夫曼編碼的長(zhǎng)度；i表示所述第一詞匯為所述第二哈夫曼樹(shù)上的第i個(gè)節(jié)點(diǎn)，表示w對(duì)應(yīng)的第一哈夫曼路徑上第i-1個(gè)節(jié)點(diǎn)的詞向量，L'^w表示第一詞匯w在第一哈夫曼樹(shù)上的編碼長(zhǎng)度，表示激活函數(shù)。