[發明專利]文本分詞模型的訓練方法、分詞處理方法及裝置、介質

有效

• 申請號: 202010214706.3
• 申請日: 2020-03-24
• 公開（公告）號: CN111428496B
• 公開（公告）日: 2023-08-15
• 發明（設計）人: 姜佳良;李響;孫于惠;李京蔚
• 申請（專利權）人: 北京小米松果電子有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F18/213;G06N3/045;G06N3/044;G06N3/08
• 代理公司: 北京名華博信知識產權代理有限公司 11453
• 代理人: 白瑩

本公開是關于一種文本分詞模型的訓練方法、分詞處理方法及裝置、介質，涉及自然語言處理領域。本公開提供的文本分詞模型的訓練方法中，文本分詞模型包括特征提取器、分詞分類器、聲調分類器，訓練方法包括：獲取訓練文本，訓練文本中的每個字標注有第一分詞標簽以及第一聲調標簽；將訓練文本輸入特征提取器，提取訓練文本的特征信息；將訓練文本的特征信息分別輸入分詞分類器和聲調分類器；根據分詞分類器的輸出結果確定分詞輸出誤差信息，根據聲調分類器的輸出結果確定聲調輸出誤差信息；根據分詞輸出誤差信息和聲調輸出誤差信息，調整文本分詞模型。本公開技術方案中引入聲調特征，并結合分詞特征，對分詞分類器、特征提取器進行優化，提高整個中文分詞算法的準確度。

技術領域

本公開涉及自然語言處理領域，尤其是涉及一種文本分詞模型的訓練方法、分詞處理方法及裝置、介質。

背景技術

在自然語言處理任務中，通常來說是以詞為最小維度。在英文的行文中，單詞之間是以空格作為自然分界符的，而中文只是字、句和段能通過明顯的分界符來簡單劃界，唯獨詞沒有一個形式上的分界符。所以對中文的分詞任務成為了中文自然語言處理任務的基礎，也就是所謂的中文分詞。

由于中文的特點，中文分詞并不能簡單地劃分。例如“他說的確實在理”這句話中，“的確”，“確實”，“實在”，“在理”都是中文中有的詞匯。可見，根據規則難以直接判斷如何分詞。而分詞的準確性直接影響到整個自然語言處理任務的效果。

經過算法不斷地發展，相關技術中的中文分詞任務普遍被抽象為序列標注問題。以最常見的4-tag標注為例，對于一個句子中的每一個字,認為它屬于[S，B，M，E]四個標簽中的一個。其中S代表該字為單字詞，B代表該字為一個詞的開始字，M代表該字為一個詞的中間字,，E代表該字為一個詞的最后一個字。那么分詞任務就抽象為對于一句話，標注出其中每個字的標簽，即得到每個字的分詞特征。

相關技術中，通常采用神經網絡+分類器的做法實現分詞特征的提取。即利用神經網絡生成特征提取器，輸入句子后即可輸出抽象特征。將輸出的抽象特征輸入到分類器中，分類器輸出每個字所屬的標簽。通常來說特征提取器采用encoder結構,分類器采用crf算法。

發明內容

為克服相關技術中存在的問題，本公開提供一種文本分詞模型的訓練方法、分詞處理方法及裝置、介質。

根據本公開實施例的第一方面，提供一種文本分詞模型的訓練方法，所述文本分詞模型包括特征提取器、分詞分類器、聲調分類器，所述訓練方法包括：

獲取訓練文本，所述訓練文本中的每個字標注有第一分詞標簽以及第一聲調標簽；

將所述訓練文本輸入所述特征提取器，提取所述訓練文本的特征信息；

將所述訓練文本的特征信息分別輸入所述分詞分類器和所述聲調分類器；

根據所述分詞分類器的輸出結果確定分詞輸出誤差信息，根據所述聲調分類器的輸出結果確定聲調輸出誤差信息；

根據所述分詞輸出誤差信息和聲調輸出誤差信息，調整所述文本分詞模型。

其中，上述文本分詞模型的訓練方法中，所述根據所述分詞分類器的輸出結果確定分詞輸出誤差信息，包括：

所述分詞分類器輸出所述訓練文本中每個字的第二分詞標簽，將所述訓練文本中每個字的第二分詞標簽分別與所述字的第一分詞標簽進行對比，確定所述分詞輸出誤差信息。

其中，上述文本分詞模型的訓練方法中，所述根據所述聲調分類器的輸出結果確定聲調輸出誤差信息，包括：

所述聲調分類器輸出所述訓練文本中每個字的第二聲調標簽，將所述訓練文本中每個字的第二聲調標簽分別與所述字的第一聲調標簽進行對比，確定所述聲調輸出誤差信息。