[發明專利]一種分詞方法、裝置、系統及設備

在審

• 申請號: 202111334749.6
• 申請日: 2021-11-11
• 公開（公告）號: CN114065757A
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 梁浩晨
• 申請（專利權）人: 東方財富信息股份有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289
• 代理公司: 上海百一領御專利代理事務所(普通合伙) 31243
• 代理人: 王奎宇;朱永海

本申請提供一種分詞技術方案，對獲取的待分詞文本進行分詞，獲取第一分詞結果；基于第一預設條件，遍歷該第一分詞結果，對該第一分詞結果中的每個分詞進行判斷，若當前分詞符合所述第一預設條件，則將當前分詞確定為觸發詞；判斷觸發詞前后預設范圍內的其它詞是否滿足第二預設條件，若滿足，則基于預設規則對該觸發詞前后預設范圍內的分詞結果進行重新分詞；繼續遍歷，直至所述第一分詞結果的最后一個分詞，獲取第二分詞結果。通過該方法，在采用現有分詞工具獲取的分詞結果基礎上，結合可靈活調整的預設策略，可對分詞結果做進一步的優化，以獲得語義上更精準的分詞結果。

技術領域

本申請涉及計算機數據處理技術領域，尤其涉及一種分詞技術。

背景技術

隨著互聯網等數字基礎設施的普及，人類進入了信息爆炸的時代，需要處理的數據越來越多，而網絡中大量存在的自然語言文本、圖片、視頻往往都屬于非結構化數據，其中，自然語言文本的數量又是最多的。為了能夠分析和利用這些自然語言文本信息，就需要用到NLP(Natural Language Processing，自然語言處理)技術。NLP就相當于存在于計算機語言和人類語言之間的翻譯或是進行溝通的橋梁，借以實現人機交互的目的。

分詞作為NLP中的一項基本內容，就是將連續的字序列按照一定的規范重新組合成詞序列的過程。在英文的行文中，單詞之間是以空格作為自然分界符的，而中文只是字、句和段能通過明顯的分界符來簡單劃界，并沒有特定的符號來標識某個詞的開始或者結尾，因此，中文分詞是一項極具挑戰性的任務。

現有的主流中文分詞工具主要有Jieba、Hanlp等，基本分詞方法是基于 viterbi(維特比)算法和依賴語料庫訓練得到的詞典。

現有分詞技術主要專注于解決通用場景下的問題，但對特定領域中的專用詞，采用現有分詞方法無法獲得滿意的分詞結果。例如，對于金融證券領域來說，若需要對文本“大股東減持XX發展股份。股東代表提議XX發展 YY運動”進行分詞，理想的結果是根據語義，前一個“XX發展”應被分成分成一個詞，后一個“XX發展”應被“XX”和“發展”兩個詞。但僅使用現有分詞技術無法獲得滿意結果。

發明內容

本申請的目的是提供一種分詞的技術方案，用以解決采用現有分詞工具對包含特定領域的專用詞文本進行分詞時無法獲得滿意分詞結果的技術問題。

根據本申請的一個方面，提供了一種分詞方法，其中，所述方法包括：

對獲取的待分詞文本進行分詞，獲取第一分詞結果；

基于第一預設條件，遍歷所述第一分詞結果，對所述第一分詞結果中的每個分詞進行判斷，若當前分詞符合所述第一預設條件，則將當前分詞確定為觸發詞；

判斷所述觸發詞前后預設范圍內的其它詞是否滿足第二預設條件，若滿足，則基于預設規則對所述觸發詞前后預設范圍內的分詞結果進行重新分詞；

繼續遍歷，直至所述第一分詞結果的最后一個分詞，獲取第二分詞結果。

可選地，其中，所述對獲取的待分詞文本進行分詞，獲取第一分詞結果包括：

獲取待分詞文本；

采用基于維特比算法的分詞工具，對所述待分詞文本進行分詞，獲取第一分詞結果。

可選地，其中，所述第一預設條件包括以下至少任一項：

預設的一個或多個詞名稱；

預設的一種或多種詞性。

可選地，其中，所述第二預設條件包括以下至少任一項：

預設的一個或多個詞名稱；

預設的一種或多種詞性。

可選地，其中，在所述繼續遍歷之前，所述方法還包括：