[發明專利]一種詞語的詞向量的生成方法、裝置及設備

有效

• 申請號: 202010198678.0
• 申請日: 2020-03-20
• 公開（公告）號: CN111091001B
• 公開（公告）日: 2020-06-23
• 發明（設計）人: 曹紹升;李厚意
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06K9/62
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 周達;劉飛

本說明書提供一種詞語的詞向量的生成方法、裝置及設備，所述方法包括：將待處理語料進行分詞后，分別確定出各個分詞后的詞語的n元筆畫和m元注音字符，進一步初始化各個詞語的詞向量、筆畫向量、注音字符向量，基于詞向量、筆畫向量、注音字符向量計算出各個詞語與上下文詞語之間的綜合相似度以及與負樣例詞語之間的綜合相似度，基于計算出的綜合相似度對各個詞語的詞向量、筆畫向量、注音字符向量進行優化調整。筆畫和注音分別表征了詞語兩個不同方向的特征，將筆畫和注音特征相融合，綜合了詞語尤其是中文詞語的特有特征進行詞向量的訓練優化。

技術領域

本說明書屬于計算機技術領域，尤其涉及一種詞語的詞向量的生成方法、裝置及設備。

背景技術

隨著計算機技術的發展，使用計算機技術處理自然語言的是一項重大突破。計算機和人不同，它很難理解人類語言的語義，在利用計算機處理計算機語言時，需要將自然語言轉換為計算機能夠識別的語言。一般可以將自然語言文本先進行分詞，再將分詞獲得的各個詞語轉換成對應的詞向量，以便計算機進行后續對自然語言進行分析。如：可以通過詞向量計算兩個詞語之間的綜合相似度，進一步確定兩個詞語的語義關系。因此，詞向量算法的準確度就決定了計算機語義理解的能力，而業界研究較多的是英文詞向量，中文詞向量算法的技術相對比較落后。

發明內容

本說明書實施例的目的在于提供一種詞語的詞向量的生成方法、裝置及設備，提高了詞向量確定的準確性。

一方面本說明書實施例提供了一種詞語的詞向量的生成方法，包括：

對待處理語料進行分詞獲得所述待處理語料的分詞；

確定所述分詞中各詞語的n元筆畫和m元注音字符，其中，所述n元筆畫表征其對應的詞語的連續n個筆畫，所述m元注音字符表征對應的詞語的連續m個注音字符，n、m為正整數；

初始化所述分詞中各個詞語的詞向量、所述各個詞語對應的n元筆畫的筆畫向量以及所述各個詞語對應的m元注音字符對應的注音字符向量；

根據所述分詞中各個詞語對應的詞向量、筆畫向量、注音字符向量，依次確定所述分詞中各個詞語與對應的上下文詞語之間的綜合相似度、以及所述分詞中各個詞語與負樣例詞語之間的綜合相似度；其中，所述綜合相似度基于詞向量相似度、筆畫向量相似度、注音向量相似度確定；

根據所述分詞中各個詞語與對應的上下文詞語之間的綜合相似度以及所述分詞中各個詞語與負樣例詞語之間的綜合相似度，調整各個詞語的對應的詞向量、筆畫向量、注音字符向量，獲得所述分詞中各個詞語的目標詞向量。

另一方面，本說明書提供了一種詞語的詞向量的生成裝置，包括：

分詞模塊，用于對待處理語料進行分詞獲得所述待處理語料的分詞；

特征提取模塊，用于確定所述分詞中各詞語的n元筆畫和m元注音字符，其中，所述n元筆畫表征其對應的詞語的連續n個筆畫，所述m元注音字符表征對應的詞語的連續m個注音字符，n、m為正整數；

向量初始化模塊，用于初始化所述分詞中各個詞語的詞向量、所述各個詞語對應的n元筆畫的筆畫向量以及所述各個詞語對應的m元注音字符對應的注音字符向量；

相似度確定模塊，用于根據所述分詞中各個詞語對應的詞向量、筆畫向量、注音字符向量，依次確定所述分詞中各個詞語與對應的上下文詞語之間的綜合相似度、以及所述分詞中各個詞語與負樣例詞語之間的綜合相似度；其中，所述綜合相似度基于詞向量相似度、筆畫向量相似度、注音向量相似度確定；

向量優化模塊，用于根據所述分詞中各個詞語與對應的上下文詞語之間的綜合相似度以及所述分詞中各個詞語與負樣例詞語之間的綜合相似度，調整各個詞語的對應的詞向量、筆畫向量、注音字符向量，獲得所述分詞中各個詞語的目標詞向量。