[發明專利]一種基于相似詞的漢語拼音標注方法、裝置及存儲介質

在審

• 申請號: 201910154080.9
• 申請日: 2019-03-01
• 公開（公告）號: CN109977361A
• 公開（公告）日: 2019-07-05
• 發明（設計）人: 徐波
• 申請（專利權）人: 廣州多益網絡股份有限公司;廣東利為網絡科技有限公司;多益網絡有限公司
• 主分類號: G06F17/21
• 分類號: G06F17/21;G06F17/27
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 麥小嬋;郝傳鑫

1.一種基于相似詞的漢語拼音標注方法，其特征在于，包括以下步驟：

收集文本語料，根據所述文本語料訓練分詞模型、詞向量模型；

根據訓練后的分詞模型對待標注拼音的文本進行分詞處理，獲得若干個待標注詞語；

當任一所述待標注詞語中含有多音字時，基于所述多音字，根據訓練后的詞向量模型獲取所述待標注詞語的相似詞語；

根據預設的漢語拼音詞典和預設的漢語拼音備用詞典對所述相似詞語中的所述多音字進行拼音標注，獲得拼音標注后的相似詞語；

采用預設的投票方法根據所述拼音標注后的相似詞語確定所述待標注詞語中的所述多音字的拼音并進行拼音標注；

將拼音標注后的待標注詞語存儲至所述漢語拼音備用詞典。

2.如權利要求1所述的基于相似詞的漢語拼音標注方法，其特征在于，所述方法還包括：

當任一所述待標注詞語中含有單音字時，根據所述漢語拼音詞典中獲取所述單音字的拼音并進行拼音標注。

3.如權利要求1所述的基于相似詞的漢語拼音標注方法，其特征在于，所述收集文本語料，根據所述文本語料訓練分詞模型、詞向量模型，具體包括：

收集文本語料；其中，所述文本語料包括新聞、小說、劇本和對話語料；

根據所述文本語料對預設的第一模型進行訓練，獲得所述訓練后的分詞模型；其中，所述第一模型為隱馬爾可夫模型或神經網絡分詞模型；

根據所述文本語料對預設的第二模型進行訓練，獲得所述訓練后的詞向量模型；其中，所述第二模型為word2vec模型、fasttext模型或g l ove模型。

4.如權利要求3所述的基于相似詞的漢語拼音標注方法，其特征在于，所述根據所述文本語料對預設的第一模型進行訓練，獲得所述訓練后的分詞模型，具體包括：

基于最大匹配分詞算法，根據所述文本語料對所述第一模型進行訓練，獲得所述訓練后的分詞模型。

5.如權利要求1所述的基于相似詞的漢語拼音標注方法，其特征在于，所述根據訓練后的分詞模型對待標注拼音的文本進行分詞處理，獲得若干個待標注詞語，具體包括：

將所述漢語拼音詞典和所述漢語拼音備用詞典導入所述訓練后的分詞模型；

根據所述訓練后的分詞模型對待標注拼音的文本進行精確切分、全切分或搜索引擎切分處理，獲得若干個待標注詞語。

6.如權利要求1所述的基于相似詞的漢語拼音標注方法，其特征在于，所述方法通過以下步驟根據訓練后的詞向量模型獲取所述待標注詞語的相似詞語：

計算所述訓練后的詞向量模型中的詞向量與所述待標注詞語的余弦相似度；

將大于預設的相似度閾值的余弦相似度所對應的詞向量作為所述待標注詞語的相似詞語。

7.如權利要求1所述的基于相似詞的漢語拼音標注方法，其特征在于，所述投票方法包括少數服從多數投票方法、加權投票方法或動態加權投票方法。

8.一種基于相似詞的漢語拼音標注裝置，其特征在于，包括：

模型訓練模塊，用于收集文本語料，根據所述文本語料訓練分詞模型、詞向量模型；

分詞處理模塊，用于根據訓練后的分詞模型對待標注拼音的文本進行分詞處理，獲得若干個待標注詞語；

相似詞語獲取模塊，用于當任一所述待標注詞語中含有多音字時，基于所述多音字，根據訓練后的詞向量模型獲取所述待標注詞語的相似詞語；

相似詞語拼音標注模塊，用于根據預設的漢語拼音詞典和預設的漢語拼音備用詞典對所述相似詞語中的所述多音字進行拼音標注，獲得拼音標注后的相似詞語；

多音字拼音標注模塊，用于采用預設的投票方法根據所述拼音標注后的相似詞語確定所述待標注詞語中的所述多音字的拼音并進行拼音標注；

備用詞典更新模塊，用于將拼音標注后的待標注詞語存儲至所述漢語拼音備用詞典。