[發明專利]模型訓練和詞向量確定方法、裝置、設備、介質和產品

有效

• 申請號: 202110277972.5
• 申請日: 2021-03-15
• 公開（公告）號: CN113011177B
• 公開（公告）日: 2023-09-29
• 發明（設計）人: 馬超;張敬帥;黃啟帆;姚開春;王鵬;祝恒書
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/216;G06F40/30;G06N3/08
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 趙林琳;辛鳴

1.一種模型訓練方法，包括：

獲取與第一詞集合對應的第一詞向量集合，所述第一詞集合來自第一語料，并且所述第一詞集合中的詞在語言學上不具有順序關系；

針對所述第一詞向量集合中的每個詞向量，

基于詞嵌入模型生成降低維度的詞向量，

基于所述降低維度的詞向量生成所述第一詞向量集合中的其他詞向量在所述第一詞向量集合中的第一概率分布，以及

調整所述詞嵌入模型的參數，使得使用經調整的所述詞嵌入模型生成的所述第一概率分布與通過所述第一詞向量集合中的詞向量的數量確定的所述其他詞向量的第二概率分布的差別盡可能小；

針對所述第一詞集合中的每個詞，在所述第一詞集合所屬于的詞全集中確定對照詞集合，所述對照詞集合與所述第一詞集合不具有相同的詞；獲取與所述對照詞集合對應的對照詞向量集合；

使用所述詞嵌入模型生成所述對照詞集合中的每個詞向量在所述第一詞向量集合中出現的概率；以及

調整所述參數，使得使用經調整的所述詞嵌入模型生成的所述對照詞集合中的每個詞向量在所述第一詞向量集合中出現的概率盡可能小。

2.根據權利要求1所述的方法，其中調整所述參數包括：

使用損失函數，針對所述第一概率分布和所述第二概率分布確定概率分布損失分數；以及

調整所述參數，使得針對使用經調整的所述詞嵌入模型生成的所述第一概率分布和所述第二概率分布確定的所述概率分布損失分數盡可能小。

3.根據權利要求1所述的方法，其中所述對照詞集合中的詞的數量與所述第一詞集合中的詞的數量成預定比例。

4.根據權利要求1所述的方法，其中所述對照詞集合為所述詞全集中、除所述第一詞集合中的詞以外的所有詞。

5.根據權利要求1所述的方法，其中確定所述對照詞集合包括：

通過所述詞在所述第一語料中的出現次數以及所述詞全集中的每個詞在所述第一語料中的出現次數，確定采樣概率；以及

使用所述采樣概率在所述詞全集中、除所述第一詞集合中的詞以外的詞中采樣，以確定所述對照詞集合。

6.根據權利要求1所述的方法，還包括：

獲取與第二詞集合對應的第二詞向量集合，所述第二詞集合來自第二語料，所述第二詞集合中的詞在語言學上不具有順序關系，并且所述第二詞集合與所述第一詞集合相關聯；

針對所述第二詞向量集合中的每個詞向量，使用所述詞嵌入模型生成降低維度的詞向量，并且使用所述降低維度的詞向量生成所述第二詞向量集合中的其他詞向量在所述第二詞向量集合中的第三概率分布；以及

調整所述詞嵌入模型的參數，使得使用經調整的所述詞嵌入模型生成的所述第三概率分布與通過所述第二詞向量集合中的詞向量的數量確定的所述其他詞向量的第四概率分布的差別盡可能小。

7.根據權利要求1所述的方法，還包括：

獲取與第二詞集合對應的第二詞向量集合，所述第二詞集合來自第二語料，所述第二詞集合中的詞在語言學上不具有順序關系，并且所述第二詞集合與所述第一詞集合相關聯；

針對所述第一詞集合和所述第二詞向量集合的詞向量并集中的每個詞向量，使用所述詞嵌入模型生成降低維度的詞向量，并且使用所述降低維度的詞向量生成所述詞向量并集中的其他詞向量在所述詞向量并集中的第五概率分布；以及

調整所述詞嵌入模型的參數，使得使用經調整的所述詞嵌入模型生成的所述第五概率分布與通過所述詞向量并集中的詞向量的數量確定的所述其他詞向量的第六概率分布的差別盡可能小。

8.根據權利要求1所述的方法，其中調整所述參數包括使用梯度下降方法調整所述參數。

9.根據權利要求1所述的方法，其中所述詞為技能詞。

10.一種詞向量確定方法，包括使用根據權利要求1至9中的任一權利要求而被訓練的詞嵌入模型，針對詞向量確定降低維度的詞向量。