[發明專利]一種未登錄詞詞向量生成方法及裝置

在審

• 申請號: 202110514694.0
• 申請日: 2021-05-12
• 公開（公告）號: CN112989818A
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 梁吉光;徐凱波
• 申請（專利權）人: 北京明略軟件系統有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/216;G06F40/289
• 代理公司: 北京超成律師事務所 11646
• 代理人: 孔默

本申請提供了一種未登錄詞詞向量生成方法及裝置，該方法包括：獲取預訓練字向量模型和未登錄詞；針對所述未登錄詞進行分字處理，得到至少兩個分字，并通過所述預訓練字向量模型，得到各分字的字向量；從構詞貢獻庫中獲取各分字的構詞貢獻值；根據所述各分字的字向量和構詞貢獻值，通過預設詞向量加權算法，計算得到所述未登錄詞的詞向量。本申請實施例所提出的一種未登錄詞詞向量生成方法為針對中文文本的NLP應用中的詞嵌入模型提供了未登錄詞的詞向量生成解決方案，進而提高了詞嵌入模型的分詞效率和精確度。

技術領域

本申請涉及人工智能領域，具體而言，涉及一種未登錄詞詞向量生成方法及裝置。

背景技術

Word2vec開啟了NLP (Natural Language Processing，自然語言處理)中的詞嵌入(word embedding)文本表示方法的大門，此后詞嵌入文本表示方法一直處于極盛狀態，在英文各類NLP應用中取得矚目的成績。

然而，在現有的中文的NLP應用中，詞嵌入方法并不像英文那么順利。主要原因在于中文不像英文那樣天然有空格作為英文單詞的分隔符，而中文文本做詞嵌入的第一步是進行中文分詞。中文分詞器眾多，分詞標準各異，會導致各類未登錄詞的出現。而預訓練的詞嵌入模型是無法學習到未登錄詞的詞向量的。

發明內容

有鑒于此，本申請的目的在于提供一種未登錄詞詞向量生成方法及裝置，用于解決現有技術中如何生成中文未登錄詞的詞向量的問題。

第一方面，本申請實施例提供了一種未登錄詞詞向量生成方法，該方法包括：

獲取預訓練字向量模型和未登錄詞；

針對所述未登錄詞進行分字處理，得到至少兩個分字，并通過所述預訓練字向量模型，得到各分字的字向量；

從構詞貢獻庫中獲取各分字的構詞貢獻值；

根據所述各分字的字向量和構詞貢獻值，通過預設詞向量加權算法，計算得到所述未登錄詞的詞向量。

在一些實施例中，還包括：

獲取樣本文本語料；所述樣本文本語料是無標注的中文文本語料；

針對所述樣本文本語料進行分字處理，得到漢字序列；

針對所述漢字序列中的每一個漢字，統計每個漢字的出現頻次以及與該漢字相鄰的漢字的共現頻次；

針對所述漢字序列中的每一個漢字，根據該漢字對應的出現頻次和共現頻次，計算該漢字的構詞貢獻值，并存入構詞貢獻庫。

在一些實施例中，在獲取樣本文本語料之后，還包括：

將所述樣本文本語料中的冗余符號進行去除處理；所述冗余符號包括空格、換行符。

在一些實施例中，針對所述未登錄詞進行分字處理，得到至少兩個分字，包括：

針對所述未登錄詞進行分字處理，并將得到的漢字進行去重處理，得到至少一個分字。

在一些實施例中，所述根據所述各分字的字向量和構詞貢獻值，通過預設詞向量加權算法，計算得到所述未登錄詞的詞向量，包括：

針對每一個分字，將該分字對應的構詞貢獻值作為權重值對字向量進行加權處理，得到加權后的字向量；

將各分字對應的加權后的字向量相加，得到所述未登錄詞的詞向量。

第二方面，本申請實施例提供餓了一種未登錄詞詞向量生成裝置，包括：

第一獲取模塊，用于獲取預訓練字向量模型和未登錄詞；

第一分字模塊，用于針對所述未登錄詞進行分字處理，得到至少兩個分字，并通過所述預訓練字向量模型，得到各分字的字向量；

第二獲取模塊，用于從構詞貢獻庫中獲取各分字的構詞貢獻值；

生成模塊，用于根據所述各分字的字向量和構詞貢獻值，通過預設詞向量加權算法，計算得到所述未登錄詞的詞向量。