[發明專利]一種詞語的詞向量的生成方法、裝置及設備

有效

• 申請號: 202010198678.0
• 申請日: 2020-03-20
• 公開（公告）號: CN111091001B
• 公開（公告）日: 2020-06-23
• 發明（設計）人: 曹紹升;李厚意
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06K9/62
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 周達;劉飛

1.一種詞語的詞向量的生成方法，包括：

對待處理語料進行分詞獲得所述待處理語料的分詞；

確定所述分詞中各詞語的n元筆畫和m元注音字符，其中，所述n元筆畫表征其對應的詞語的連續n個筆畫，所述m元注音字符表征對應的詞語的連續m個注音字符，n、m為正整數；

初始化所述分詞中各個詞語的詞向量、所述各個詞語對應的n元筆畫的筆畫向量以及所述各個詞語對應的m元注音字符對應的注音字符向量；

根據所述分詞中各個詞語對應的詞向量、筆畫向量、注音字符向量，依次確定所述分詞中各個詞語與對應的上下文詞語之間的綜合相似度、以及所述分詞中各個詞語與負樣例詞語之間的綜合相似度；其中，所述綜合相似度基于詞向量相似度、筆畫向量相似度、注音向量相似度確定；所述負樣例詞語為從所述待處理語料中選擇的負樣本詞語；

根據所述分詞中各個詞語與對應的上下文詞語之間的綜合相似度以及所述分詞中各個詞語與負樣例詞語之間的綜合相似度，調整各個詞語的對應的詞向量、筆畫向量、注音字符向量，獲得所述分詞中各個詞語的目標詞向量。

2.如權利要求1所述的方法，所述根據所述分詞中各個詞語對應的詞向量、筆畫向量、注音字符向量，依次確定各個詞語與對應的上下文詞語之間的綜合相似度，包括：

對所述分詞中各個詞語進行遍歷，依次將所述分詞中各個詞語中作為目標詞語，并確定所述目標詞語在所述分詞中對應的上下文詞語；其中，所述分詞中各個詞語之間的排序與所述待處理語料中各詞語的排序一致；

根據各個所述目標詞語對應的詞向量、筆畫向量、注音字符向量，以及各個目標詞語對應的上下文詞語對應的詞向量，計算各個目標詞語與對應的上下文詞語之間的詞向量相似度、筆畫向量相似度、注音向量相似度；

根據所述詞向量相似度、所述筆畫向量相似度、所述注音向量相似度，確定各個目標詞語與對應的上下文詞語之間的綜合相似度。

3.如權利要求2所述的方法，所述目標詞語與對應的上下文詞語之間的詞向量相似度、筆畫向量相似度、注音向量相似度的計算方法包括：

根據所述目標詞語的詞向量與對應的上下文詞語的詞向量之間的向量點積值，確定所述目標詞語與對應的上下文詞語之間的詞向量相似度；

根據所述目標詞語的各個筆畫向量與對應的上下文詞語的詞向量之間向量點積值，確定所述目標詞語與對應的上下文詞語之間的筆畫向量相似度；

根據所述目標詞語的各個注音字符向量與對應的上下文詞語的詞向量之間向量點積值，確定所述目標詞語與對應的上下文詞語之間的注音向量相似度。

4.如權利要求2所述的方法，所述確定所述目標詞語在所述分詞中對應的上下文詞語，包括：

在所述分詞中，以所述目標詞語為中心，向左和/或向右滑動指定數量個詞語的距離，建立滑動窗口；

遍歷所述滑動窗口中的詞語，依次將所述滑動窗口中所述目標詞語以外的詞語確定為所述目標詞語對應的上下文詞語。

5.如權利要求2所述的方法，所述根據所述各個詞語與對應的上下文詞語之間的綜合相似度以及所述分詞中各個詞語與負樣例詞語之間的綜合相似度，調整各個詞語的對應的詞向量、筆畫向量、注音字符向量，包括：

從所述分詞中選取預設數量個詞語，作為負樣例詞語；

確定所述目標詞語與各個所述負樣例詞語之間的綜合相似度；

根據指定的損失函數、所述目標詞語與對應的上下文詞語之間的綜合相似度，以及所述目標詞語與各個所述負樣例詞語之間的綜合相似度，確定所述目標詞語對應的損失表征值；

根據所述損失表征值，對所述上下文詞的詞向量、所述目標詞語的詞向量、所述目標詞語對應的筆畫向量、注音字符向量進行訓練更新，直至滿足訓練條件，生成所述目標詞語對應的目標詞向量。