[發明專利]文本分割方法、相關設備及可讀存儲介質

在審

• 申請號: 201911398383.1
• 申請日: 2019-12-30
• 公開（公告）號: CN111199150A
• 公開（公告）日: 2020-05-26
• 發明（設計）人: 閆莉;孔常青;萬根順;高建清
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/216;G06F40/30
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王小清

1.一種文本分割方法，其特征在于，包括：

獲取待分割文本；

獲取所述待分割文本中每個文本單元的分割特征；

根據每個文本單元的分割特征，確定所述待分割文本的分割邊界；

基于所述待分割文本的分割邊界，對所述待分割文本進行分割。

2.根據權利要求1所述的方法，其特征在于，所述獲取所述待分割文本中每個文本單元的分割特征，包括：

獲取所述待分割文本中每個文本單元的單詞序列和線索詞特征，所述每個文本單元的單詞序列和線索詞特征作為所述每個文本單元的分割特征。

3.根據權利要求2所述的方法，其特征在于，獲取所述待分割文本中每個文本單元的單詞序列和線索詞特征，包括：

對每個文本單元進行分詞，得到每個文本單元的單詞序列；

基于預先確定的線索詞集合，從所述單詞序列中確定線索詞；

獲取所述線索詞在對應文本單元中的位置信息；

根據每個文本單元中線索詞的位置信息，生成每個文本單元的線索詞特征。

4.根據權利要求2所述的方法，其特征在于，所述根據每個文本單元的分割特征，確定所述待分割文本的分割邊界，包括：

將每個文本單元的分割特征，輸入文本分割模型，得到每個文本單元是否為所述待分割文本的分割邊界的輸出結果；所述文本分割模型是以訓練文本中各文本單元的分割特征為訓練樣本，以訓練文本的分割邊界標識標注信息為樣本標簽訓練得到。

5.根據權利要求4所述的方法，其特征在于，所述文本分割模型，包括：

詞編碼層、注意力層、融合層、句編碼層和輸出層。

6.根據權利要求5所述的方法，其特征在于，所述將每個文本單元的分割特征，輸入文本分割模型，得到每個文本單元的起始位置是否為所述待分割文本的分割邊界的輸出結果，包括：

利用文本分割模型獲取每個文本單元的段長特征，所述段長特征用于表示每個文本單元的上一分割邊界到每個文本單元的段長信息；

利用文本分割模型的詞編碼層，對每個文本單元的分割特征進行詞編碼，得到每個文本單元的語義表征；

利用文本分割模型的注意力層，對每個文本單元的語義表征進行注意力計算，得到每個文本單元的句子的語義表征；

利用文本分割模型的融合層，將每個文本單元的句子的語義表征以及每個文本單元的段長特征進行融合，得到每個文本單元的句子的完整詞表征；

利用文本分割模型的句編碼層，對每個文本單元的句子的完整詞表征進行句編碼，得到每個文本單元的句表征；

利用文本分割模型的輸出層對每個文本單元的句表征以及上一時刻的句表征進行計算，得到每個文本單元是否為所述待分割文本的分割邊界的輸出結果。

7.根據權利要求6所述的方法，其特征在于，所述利用文本分割模型的詞編碼層，對每個文本單元的分割特征進行詞編碼，得到每個文本單元的語義表征，包括：

對每個文本單元的分割特征中的單詞序列進行詞編碼，得到每個文本單元的詞語義表征；

基于所述每個文本單元的詞語義表征和每個文本單元的分割特征中的線索詞特征，得到每個文本單元的線索詞語義表征；所述詞語義表征和線索詞語義表征作為所述語義表征。

8.根據權利要求7所述的方法，其特征在于，所述利用所述文本分割模型的注意力層，對每個文本單元的語義表征進行注意力計算，得到每個文本單元的句子語義表征，包括：

對所述詞語義表征進行注意力計算，得到每個文本單元的第一句子語義表征；

對所述線索詞語義表征進行注意力計算，得到每個文本單元的第二句子語義表征，所述第一句子語義表征和第二句子語義表征作為所述句子語義表征。