[發明專利]一種詞語詞向量的生成方法以及相似詞的確定方法

在審

• 申請號: 202110057200.0
• 申請日: 2021-01-15
• 公開（公告）號: CN112686033A
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 林曉明;江金陵
• 申請（專利權）人: 上海明略人工智能（集團）有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/289;G06F40/216;G06K9/62
• 代理公司: 北京超成律師事務所 11646
• 代理人: 裴素英

1.一種詞語詞向量的生成方法，其特征在于，所述生成方法包括：

獲取樣本訓練語料以及詞間關系集，構建所述樣本訓練語料對應的樣本語料庫；

確定所述樣本語料庫中各個樣本詞語的初始詞向量，得到所述樣本語料庫的初始語料向量集；

按照所述詞間關系集中各個詞語相關關系的預設訓練順序，依次更新所述初始語料向量集中對應樣本詞語的初始詞向量，并迭代訓練所述初始語料向量集，得到所述各個樣本詞語的目標詞向量，其中，所述詞語相關關系包括弱關系，強關系以及相等關系；

基于所述各個樣本詞語的目標詞向量，構建所述樣本語料庫的目標語料向量集。

2.根據權利要求1所述的生成方法，其特征在于，通過以下步驟構建樣本語料庫：

對所述樣本訓練語料進行分詞處理，將所述樣本訓練語料拆分為多個樣本詞語；

基于所述多個樣本詞語構建所述樣本語料庫。

3.根據權利要求1所述的生成方法，其特征在于，所述確定所述樣本語料庫中各個樣本詞語的初始詞向量，得到所述樣本語料庫的初始語料向量集，包括：

將所述樣本語料庫中各個樣本詞語進行向量化處理，得到所述樣本語料庫中各個樣本詞語的原始向量；

使用Word2vec模型，對所述樣本語料庫中各個樣本詞語的原始向量進行訓練，得到所述樣本語料庫中各個樣本詞語的初始詞向量；

基于所述各個樣本詞語的初始詞向量，構建所述樣本語料庫的初始語料向量集。

4.根據權利要求1所述的生成方法，其特征在于，所述按照所述詞間關系集中各個詞語相關關系的預設訓練順序，依次更新所述初始語料向量集中對應樣本詞語的初始詞向量，并迭代訓練所述初始語料向量集，得到所述各個樣本詞語的目標詞向量，其中，所述詞語相關關系包括弱關系，強關系以及相等關系，包括：

根據所述詞間關系集的指示，從所述初始語料向量集中確定出互為弱關系的多組弱關系詞組中的每個樣本詞語的初始詞向量；

針對于每組弱關系詞語，使用所述弱關系詞組對應的均值詞向量替換該詞組中每個詞語的初始詞向量，得到更新后的初始語料向量集；

使用Word2vec模型，對所述更新后的初始語料向量集進行訓練，當訓練次數達到第一預設閾值時，得到所述更新后的初始語料向量集中各個樣本詞語的第一詞向量，并基于所述樣本詞語的第一詞向量構建第一詞向量集；

根據所述詞間關系集的指示，從所述第一詞向量集中確定出互為強關系的多組強關系詞組中的每個樣本詞語的第一詞向量；

針對于每組強關系詞語，使用所述強關系詞組對應的均值詞向量替換該詞組中每個詞語的第一詞向量，得到更新后的第一詞向量集；

使用Word2vec模型，對所述更新后的第一詞向量集進行訓練，當訓練次數達到第二預設閾值時，得到所述更新后的第一詞向量集中各個樣本詞語的第二詞向量，并基于所述樣本詞語的第二詞向量構建第二詞向量集；

根據所述詞間關系集的指示，從所述第二詞向量集中確定出互為相等關系的多組相等關系詞組中的每個樣本詞語的第二詞向量；

針對于每組相等關系詞語，使用所述相等關系詞組對應的均值詞向量替換該詞組中每個詞語的第二詞向量，得到更新后的第二詞向量集；

使用Word2vec模型，對所述更新后的第二詞向量集進行訓練，當訓練次數達到第三預設閾值時，停止訓練，得到所述更新后的第二詞向量集中各個樣本詞語的目標詞向量。

5.根據權利要求4所述的生成方法，其特征在于，通過以下步驟確定詞組對應的均值向量：

針對于每種詞語相關關系下的每組詞語，統計該詞組中每個詞語對應的詞向量；

將所述詞組中每個詞語的詞向量相加求均值，得到所述詞組的均值詞向量。