[發明專利]基于人工智能的分詞模型的修正方法、裝置、設備和介質

有效

• 申請號: 201710449945.5
• 申請日: 2017-06-14
• 公開（公告）號: CN107273357B
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 鄭利群;詹金波;肖求根;付志宏;何徑舟;周古月
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06N3/02
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種基于人工智能的分詞模型的修正方法，其特征在于，包括：

獲取分詞模型的模型參數，同時，通過神經網絡對第一訓練語料的設定泛化特征對應的特征向量進行訓練得到所述設定泛化特征的模型參數；

根據所述分詞模型的模型參數和所述設定泛化特征的模型參數對所述第一訓練語料進行分詞處理，得到分詞結果；

根據設定規則比較所述分詞結果與所述第一訓練語料，依據比較結果修正所述分詞模型的模型參數和神經網絡參數；

其中，所述根據所述分詞模型的模型參數和所述設定泛化特征的模型參數對所述第一訓練語料進行分詞處理，得到分詞結果，包括：

根據所述分詞模型的模型參數和所述第一訓練語料，獲得第一發射矩陣和第一轉移矩陣，根據所述設定泛化特征的模型參數和所述第一訓練語料，獲得第二發射矩陣和第二轉移矩陣；

根據所述第一發射矩陣和所述第二發射矩陣，生成第三發射矩陣；

根據所述第三發射矩陣和所述第二轉移矩陣對所述第一訓練語料進行分詞處理，得到分詞結果。

2.根據權利要求1所述的方法，其特征在于，所述根據所述第一發射矩陣和所述第二發射矩陣，生成第三發射矩陣，包括：

將所述第一發射矩陣和所述第二發射矩陣相加，生成第三發射矩陣。

3.根據權利要求1所述的方法，其特征在于，所述獲取分詞模型的模型參數，包括：

通過結構化感知機對第二訓練語料進行訓練，得到一字詞向量、兩字詞向量和第三轉移矩陣；

根據所述一字詞向量、所述兩字詞向量和所述第三轉移矩陣生成分詞模型的模型參數。

4.根據權利要求3所述的方法，其特征在于，在所述通過結構化感知機對第二訓練語料進行訓練，得到一字詞向量、兩字詞向量和第三轉移矩陣之前，包括：

獲取基于統計的無監督分詞模型；

使用所述無監督分詞模型對大量語料進行分詞處理，得到所述第二訓練語料。

5.根據權利要求1所述的方法，其特征在于，所述根據設定規則比較所述分詞結果與所述第一訓練語料，依據比較結果修正所述分詞模型的模型參數和神經網絡參數，包括：

根據設定規則比較所述分詞結果與所述第一訓練語料，得到比較結果；

降低所述分詞模型的學習率；

依據比較結果修正降低學習率后的所述分詞模型的模型參數和所述神經網絡參數。

6.根據權利要求1所述的方法，其特征在于，所述設定泛化特征包括下述至少一項：

詞向量特征、兩字統計特征、三字統計特征和詞典特征。

7.一種基于人工智能的分詞模型的修正裝置，其特征在于，包括：

模型參數獲取模塊，用于獲取分詞模型的模型參數，同時，通過神經網絡對第一訓練語料的設定泛化特征對應的特征向量進行訓練得到所述設定泛化特征的模型參數；

分詞處理模塊，用于根據所述分詞模型的模型參數和所述設定泛化特征的模型參數對所述第一訓練語料進行分詞處理，得到分詞結果；

模型參數修正模塊，用于根據設定規則比較所述分詞結果與所述第一訓練語料，依據比較結果修正所述分詞模型的模型參數和神經網絡參數；

其中，分詞處理模塊，具體用于：

根據所述分詞模型的模型參數和所述第一訓練語料，獲得第一發射矩陣和第一轉移矩陣，根據所述設定泛化特征的模型參數和所述第一訓練語料，獲得第二發射矩陣和第二轉移矩陣；

根據所述第一發射矩陣和所述第二發射矩陣，生成第三發射矩陣；

根據所述第三發射矩陣和所述第二轉移矩陣對所述第一訓練語料進行分詞處理，得到分詞結果。

8.一種電子設備，其特征在于，所述電子設備包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序，

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如權利要求1-6中任一所述的基于人工智能的分詞模型的修正方法。

9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1-6中任一項所述的基于人工智能的分詞模型的修正方法。