[發明專利]基于人工智能的分詞模型的修正方法、裝置、設備和介質

有效

• 申請號: 201710449945.5
• 申請日: 2017-06-14
• 公開（公告）號: CN107273357B
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 鄭利群;詹金波;肖求根;付志宏;何徑舟;周古月
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06N3/02
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明實施例公開了一種基于人工智能的分詞模型的修正方法、裝置、設備和介質。所述方法包括：獲取分詞模型的模型參數，同時，通過神經網絡對第一訓練語料的設定泛化特征對應的特征向量進行訓練得到設定泛化特征的模型參數；根據分詞模型的模型參數和設定泛化特征的模型參數對第一訓練語料進行分詞處理，得到分詞結果；根據設定規則比較分詞結果與第一訓練語料，依據比較結果修正分詞模型的模型參數和神經網絡參數。本發明實施例的技術方案實現了簡便和快速地擴展已有分詞模型的泛化能力，準確地獲取具有泛化性的分詞結果，同時，還是可以依據該泛化性的分詞結果對已有分詞模型進行修正，增加已有分詞模型的模型參數的準確度。

技術領域

本發明實施例涉及分詞處理技術領域，尤其涉及一種基于人工智能的分詞模型的修正方法、裝置、設備和介質。

背景技術

人工智能(Artificial Intelligence)，英文縮寫為AI。它是研究、開發用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門新的技術科學。人工智能是計算機科學的一個分支，它企圖了解智能的實質，并生產出一種新的能以人類智能相似的方式做出反應的智能機器，該領域的研究包括機器人、語言識別、圖像識別、自然語言處理和專家系統等。

中文分詞指的是將一個漢字序列切分成一個一個單獨的詞。中文分詞是文本挖掘的基礎，對于輸入的一段中文，成功的進行中文分詞，可以達到電腦自動識別語句含義的效果。

現有的分詞模型一般為基于統計的分詞模型或基于詞典的分詞模型，這兩種分詞模型的泛化能力一般較差，即便是具有一定泛化能力的基于統計的有監督分詞模型，由于人工標注語料較少，因此該分詞模型較小，容易導致泛化錯誤。現有技術中一般通過使用泛化特征向量重新訓練分詞模型的方法獲得具有一定泛化能力的分詞模型。

重新訓練分詞模型不但費時費力，而且難以保證分詞的質量。

發明內容

有鑒于此，本發明實施例提供了一種基于人工智能的分詞模型的修正方法、裝置、設備和介質，以解決現有技術中增加分詞模型泛化能力的方法費時費力，且難以保證分詞質量的技術缺陷。

在第一方面，本發明實施例提供了一種基于人工智能的分詞模型的修正方法，包括：

獲取分詞模型的模型參數，同時，通過神經網絡對第一訓練語料的設定泛化特征對應的特征向量進行訓練得到所述設定泛化特征的模型參數；

根據所述分詞模型的模型參數和所述設定泛化特征的模型參數對所述第一訓練語料進行分詞處理，得到分詞結果；

根據設定規則比較所述分詞結果與所述第一訓練語料，依據比較結果修正所述分詞模型的模型參數和所述神經網絡參數。

在第二方面，本發明實施例提供了一種基于人工智能的分詞模型的修正裝置，包括：

模型參數獲取模塊，用于獲取分詞模型的模型參數，同時，通過神經網絡對第一訓練語料的設定泛化特征對應的特征向量進行訓練得到所述設定泛化特征的模型參數；

分詞處理模塊，用于根據所述分詞模型的模型參數和所述設定泛化特征的模型參數對所述第一訓練語料進行分詞處理，得到分詞結果；

模型參數修正模塊，用于根據設定規則比較所述分詞結果與所述第一訓練語料，依據比較結果修正所述分詞模型的模型參數和所述神經網絡參數。

在第三方面，本發明實施例提供了一種設備，所述設備包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序，

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現本發明實施例所述的基于人工智能的分詞模型的修正方法。