[發明專利]一種未登錄詞詞向量生成方法及裝置

在審

• 申請號: 202110514694.0
• 申請日: 2021-05-12
• 公開（公告）號: CN112989818A
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 梁吉光;徐凱波
• 申請（專利權）人: 北京明略軟件系統有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/216;G06F40/289
• 代理公司: 北京超成律師事務所 11646
• 代理人: 孔默

1.一種未登錄詞詞向量生成方法，其特征在于，包括：

獲取預訓練字向量模型和未登錄詞；

針對所述未登錄詞進行分字處理，得到至少兩個分字，并通過所述預訓練字向量模型，得到各分字的字向量；

從構詞貢獻庫中獲取各分字的構詞貢獻值；

根據所述各分字的字向量和構詞貢獻值，通過預設詞向量加權算法，計算得到所述未登錄詞的詞向量。

2.如權利要求1所述的方法，其特征在于，還包括：

獲取樣本文本語料；所述樣本文本語料是無標注的中文文本語料；

針對所述樣本文本語料進行分字處理，得到漢字序列；

針對所述漢字序列中的每一個漢字，統計每個漢字的出現頻次以及與該漢字相鄰的漢字的共現頻次；

針對所述漢字序列中的每一個漢字，根據該漢字對應的出現頻次和共現頻次，計算該漢字的構詞貢獻值，并存入構詞貢獻庫。

3.如權利要求2所述的方法，其特征在于，在獲取樣本文本語料之后，還包括：

將所述樣本文本語料中的冗余符號進行去除處理；所述冗余符號包括空格、換行符。

4.如權利要求1所述的方法，其特征在于，針對所述未登錄詞進行分字處理，得到至少兩個分字，包括：

針對所述未登錄詞進行分字處理，并將得到的漢字進行去重處理，得到至少一個分字。

5.如權利要求1所述的方法，其特征在于，所述根據所述各分字的字向量和構詞貢獻值，通過預設詞向量加權算法，計算得到所述未登錄詞的詞向量，包括：

針對每一個分字，將該分字對應的構詞貢獻值作為權重值對字向量進行加權處理，得到加權后的字向量；

將各分字對應的加權后的字向量相加，得到所述未登錄詞的詞向量。

6.一種未登錄詞詞向量生成裝置，其特征在于，包括：

第一獲取模塊，用于獲取預訓練字向量模型和未登錄詞；

第一分字模塊，用于針對所述未登錄詞進行分字處理，得到至少兩個分字，并通過所述預訓練字向量模型，得到各分字的字向量；

第二獲取模塊，用于從構詞貢獻庫中獲取各分字的構詞貢獻值；

生成模塊，用于根據所述各分字的字向量和構詞貢獻值，通過預設詞向量加權算法，計算得到所述未登錄詞的詞向量。

7.如權利要求6所述的裝置，其特征在于，還包括：

第三獲取模塊，用于獲取樣本文本語料；所述樣本文本語料是無標注的中文文本語料；

第二分字模塊，用于針對所述樣本文本語料進行分字處理，得到漢字序列；

統計模塊，用于針對所述漢字序列中的每一個漢字，統計每個漢字的出現頻次以及與該漢字相鄰的漢字的共現頻次；

計算模塊，用于針對所述漢字序列中的每一個漢字，根據該漢字對應的出現頻次和共現頻次，計算該漢字的構詞貢獻值，并存入構詞貢獻庫。

8.如權利要求6所述的裝置，其特征在于，所述生成模塊，包括：

加權單元，用于針對每一個分字，將該分字對應的構詞貢獻值作為權重值對字向量進行加權處理，得到加權后的字向量；

計算單元，用于將各分字對應的加權后的字向量相加，得到所述未登錄詞的詞向量。

9.一種計算機設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現上述權利要求1-5中任一項所述的方法的步驟。

10.一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲有計算機程序，其特征在于，所述計算機程序被處理器運行時執行上述權利要求1-5中任一項所述的方法的步驟。