[發明專利]分詞模型訓練方法和裝置、及存儲介質

有效

• 申請號: 201711450699.1
• 申請日: 2017-12-27
• 公開（公告）號: CN108038108B
• 公開（公告）日: 2021-12-10
• 發明（設計）人: 李玉信;崔朝輝;趙立軍;張霞
• 申請（專利權）人: 東軟集團股份有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

1.一種分詞模型訓練方法，其特征在于，該分詞模型訓練方法的執行主體為分詞模型訓練裝置，所述方法包括：

獲取訓練語料；

對所述訓練語料中的至少一篇文檔進行拆分，獲取各個類型對應的語料元素集；所述語料元素集中包括：對所述文檔拆分得到的相應類型的至少一個語料元素；

從各個類型對應的語料元素集中抽取語料元素，得到待訓練語料元素集；所述待訓練語料元素集中，每個類型的語料元素數量滿足預設閾值；

對所述待訓練語料元素集中的各個語料元素進行分詞以及詞性標注，得到標注后的待訓練語料元素集；

根據所述標注后的待訓練語料集對分詞模型進行訓練；

所述對所述訓練語料中的至少一篇文檔進行拆分，獲取各個類型對應的語料元素集，包括：

對所述至少一篇文檔進行拆分，獲取至少一個語料元素；

針對每個語料元素，采用N元模型對所述語料元素進行切割，獲取所述語料元素中的切割詞；

根據任意兩個語料元素中相同切割詞的數量，計算所述任意兩個語料元素之間的距離；

根據各個語料元素之間的距離，對所述至少一個語料元素進行聚類，得到各個類型對應的語料元素集；

所述從各個類型對應的語料元素集中抽取語料元素，得到待訓練語料元素集，包括：

針對每個類型對應的語料元素集，在第一次抽取語料元素時，從所述語料元素集中隨機抽取語料元素；

在第二次或者多次抽取語料元素時，針對所述語料元素集中的每個剩余語料元素，計算所述剩余語料元素與已抽取的各個語料元素之間的距離之和；將所述剩余語料元素中距離之和的最大值對應的語料元素確定為第二次或者多次抽取的語料元素；或者，

在第二次或者多次抽取語料元素時，針對所述語料元素集中的每個剩余語料元素，計算所述剩余語料元素與已抽取的各個語料元素之間的最小距離；將所述剩余語料元素中最小距離的最大值對應的語料元素確定為第二次或者多次抽取的語料元素。

2.根據權利要求1所述的方法，其特征在于，所述語料元素為：至少一個句子、至少一個段落或者整篇文章。

3.根據權利要求1所述的方法，其特征在于，所述對所述待訓練語料元素集中的各個語料元素進行分詞以及詞性標注，得到標注后的待訓練語料元素集，包括：

將所述待訓練語料元素集中的各個語料元素輸入所述分詞模型，獲取所述分詞模型輸出的預標注語料元素集；

對所述預標注語料元素 集中的各個語料元素的分詞結果和詞性標注結果進行校正，得到標注后的待訓練語料元素集。

4.根據權利要求1所述的方法，其特征在于，所述根據所述標注后的待訓練語料集對分詞模型進行訓練之后，還包括：

對所述分詞模型進行校驗，獲取所述分詞模型的準確度；

在所述分詞模型的準確度未達到設定的準確度閾值時，從各個類型對應的語料元素集中重新抽取語料元素，對所述分詞模型進行訓練，直至所述分詞模型的準確度達到所述準確度閾值為止。

5.根據權利要求4所述的方法，其特征在于，還包括：

在所述分詞模型的準確度達到所述準確度閾值時，獲取待標注語料；

將所述待標注語料輸入所述分詞模型，得到所述待標注語料的詞性標注結果。