[發(fā)明專(zhuān)利]詞向量更新方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201810144166.9
• 申請(qǐng)日: 2018-02-12
• 公開(kāi)（公告）號(hào): CN110162766B
• 公開(kāi)（公告）日: 2023-03-24
• 發(fā)明（設(shè)計(jì)）人: 宋彥
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深圳市騰訊計(jì)算機(jī)系統(tǒng)有限公司
• 主分類(lèi)號(hào): G06F40/289
• 分類(lèi)號(hào): G06F40/289;G06F40/247;G06F16/35
• 代理公司: 深圳市聯(lián)鼎知識(shí)產(chǎn)權(quán)代理有限公司 44232
• 代理人: 劉抗美

1.一種詞向量更新方法，包括：

獲取訓(xùn)練原詞向量時(shí)所生成的第一模型和第二模型，所述第一模型用于根據(jù)輸入詞預(yù)測(cè)上下文，所述第二模型用于根據(jù)上下文預(yù)測(cè)目標(biāo)詞；

將來(lái)自目標(biāo)語(yǔ)料的語(yǔ)料單元輸入所述第一模型，并將所述第一模型的輸出輸入所述第二模型，獲取使所述第二模型輸出所述語(yǔ)料單元時(shí)由所述第一模型和所述第二模型產(chǎn)生的損耗；以及

根據(jù)所述損耗來(lái)更新所述第一模型和所述第二模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述的獲取使所述第二模型輸出所述語(yǔ)料單元時(shí)由所述第一模型和所述第二模型產(chǎn)生的損耗，包括：

對(duì)于所述語(yǔ)料單元及所述語(yǔ)料單元在所述目標(biāo)語(yǔ)料中的語(yǔ)料上下文，獲取所述第一模型輸出所述語(yǔ)料上下文和預(yù)設(shè)中間變量時(shí)下的第一損耗；以及

獲取所述語(yǔ)料上下文和所述中間變量通過(guò)所述第二模型輸出所述語(yǔ)料單元時(shí)的第二損耗。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述預(yù)設(shè)中間變量包括中間詞，所述的獲取所述第一模型輸出所述語(yǔ)料上下文和預(yù)設(shè)中間變量時(shí)的第一損耗，包括：

獲取將所述語(yǔ)料單元輸入所述第一模型時(shí)所述中間詞的輸出概率；

獲取將所述語(yǔ)料單元輸入所述第一模型時(shí)所述語(yǔ)料上下文的輸出概率；

獲取所述中間詞的輸出概率與所述語(yǔ)料上下文的輸出概率之間的差異，以得到所述第一損耗。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述預(yù)設(shè)中間變量包括中間詞，所述的獲取所述語(yǔ)料上下文和所述中間變量通過(guò)所述第二模型輸出所述語(yǔ)料單元時(shí)的第二損耗，包括：

將所述中間詞加入所述語(yǔ)料上下文以獲取更新上下文；

獲取將所述更新上下文輸入所述第二模型時(shí)所述語(yǔ)料單元的輸出概率，以得到所述第二損耗。

5.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的方法，其特征在于，所述的根據(jù)所述損耗來(lái)更新所述第一模型和所述第二模型，包括：

基于所述第一模型產(chǎn)生的第一損耗和所述第二模型產(chǎn)生的第二損耗來(lái)獲取組合損耗；

獲取所述組合損耗在所述第一模型上的第一梯度和所述組合損耗在所述第二模型上的第二梯度；以及

基于所述第一梯度來(lái)更新所述第一模型的參數(shù)，基于所述第二梯度來(lái)更新所述第二模型的參數(shù)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述的基于所述第一梯度來(lái)更新所述第一模型的參數(shù)，基于所述第二梯度來(lái)更新所述第二模型的參數(shù)，包括：

基于所述第一梯度和為所述第一梯度分配的第一權(quán)重來(lái)更新所述第一模型的參數(shù)；以及

基于所述第二梯度和為所述第二梯度分配的第二權(quán)重來(lái)更新所述第二模型的參數(shù)；

其中，在基于來(lái)自目標(biāo)語(yǔ)料的各個(gè)語(yǔ)料單元更新所述第一模型和所述第二模型的過(guò)程中，使所述第一權(quán)重和所述第二權(quán)重遞減。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述的獲取訓(xùn)練原詞向量時(shí)所生成的第一模型和第二模型，包括：

獲取根據(jù)源語(yǔ)料生成第一詞向量時(shí)所生成的詞到上下文SG模型；以及

獲取根據(jù)源語(yǔ)料生成第二詞向量時(shí)所生成的上下文到詞CB模型，

其中，所述源語(yǔ)料不同于所述目標(biāo)語(yǔ)料或者所述源語(yǔ)料包括所述目標(biāo)語(yǔ)料。

8.一種詞向量更新方法，包括：

獲取訓(xùn)練方向相反的第一模型和第二模型；

將待訓(xùn)練的目標(biāo)語(yǔ)料輸入所述第一模型，并將所述第一模型的輸出輸入所述第二模型，獲取使所述第二模型輸出目標(biāo)語(yǔ)料時(shí)分別由所述第一模型和所述第二模型產(chǎn)生的損耗；以及

根據(jù)所述損耗來(lái)更新所述第一模型和所述第二模型。

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述根據(jù)所述損耗來(lái)更新所述第一模型和所述第二模型的步驟包括：

更新所述第一模型，使來(lái)自源語(yǔ)料的中間詞的輸出概率與所述目標(biāo)語(yǔ)料的上下文的輸出概率趨于相等；以及

更新所述第二模型，使所述目標(biāo)語(yǔ)料的輸出概率接近于1。