[發明專利]獲取文本意圖的方法和系統

在審

• 申請號: 202110653225.7
• 申請日: 2021-06-11
• 公開（公告）號: CN113360653A
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 張立冬;劉敏;潘偉;鄭婕;江志凌;魏佳;劉振元;許明陽
• 申請（專利權）人: 湖北中煙工業有限責任公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62;G06F40/216;G06F40/289
• 代理公司: 浙江千克知識產權代理有限公司 33246
• 代理人: 裴金華

本申請提供了獲取文本意圖的方法和系統，包括：根據本地數據庫中的歷史文本構建分詞詞典；通過包含所述分詞詞典的分詞工具對所述歷史文本進行分詞，獲取分詞集合；通過預設的空間向量模型和TF?IDF構建所述歷史文本的特征向量；通過所述特征向量和預設的意圖類別對預設的支持向量機分類模型進行訓練；通過經過所述訓練的支持向量機分類模型獲取待分類文本的意圖類別。使得分詞詞典冗余更少，分詞結果更加精確，提高了文本意圖分類的效率和準確性。

技術領域

本申請屬于文本意圖獲取領域，尤其涉及獲取文本意圖的方法和系統。

背景技術

隨著信息技術的研發及應用日新月異，工業互聯網建設已經納入國家新型基礎設施建設的范疇。在日常工業互聯網服務程序中，通過客戶發送的需求文本自動確定對應的服務意圖的類別是一個關鍵部分，也是運維服務處理和執行的第一步。通過自動確定服務意圖的類別，可以更加快速和準確地執行運維操作，或是將任務分派給相應的服務團隊來解決。

由此可見，意圖分類實際上一項文本分類任務，其中，文本預處理的效果通常會持續影響后續分類任務的準確率，尤其是分詞帶來的影響。通用的分詞工具通常不包括對應領域的分詞詞典，在分詞的時候容易錯分。

發明內容

本發明實施例的主要目的在于提供獲取文本意圖的方法和系統，使得分詞詞典冗余更少，分詞結果更加精確，提高了文本意圖分類的效率和準確性。

第一方面，提供了獲取文本意圖的方法，方法包括：

根據本地數據庫中的歷史文本構建分詞詞典；

通過包含所述分詞詞典的分詞工具對所述歷史文本進行分詞，獲取分詞集合；

通過預設的空間向量模型和TF-IDF構建所述歷史文本的特征向量；

通過所述特征向量和預設的意圖類別對預設的支持向量機分類模型進行訓練；

通過經過所述訓練的支持向量機分類模型獲取待分類文本的意圖類別。

在一個可能的實現方式中，所述通過預設的空間向量模型和TF-IDF構建所述歷史文本的特征向量，包括：

根據公式：獲取所述分詞的TF-IDF值，其中，表示詞在文本中出現的次數，表示文本的總詞數，表示文本集合的大小，表示文本集合中包含詞的文本數量；

根據所述TF-IDF值獲取所述歷史文本的特征向量。

在另一個可能的實現方式中，所述根據本地數據中的歷史文本構建分詞詞典，包括：

獲取本地數據庫中的歷史文本，并從所述歷史文本中生成n-gram構成的候選詞集合；

按照詞頻、點互信息、鄰接熵、語言規則的順序依序對所述候選詞集合進行候選詞過濾，獲取過濾后候選詞集合，所述詞頻為單個候選詞在所述候選詞集合中出現的次數。

在另一個可能的實現方式中，所述按照詞頻、點互信息、鄰接熵、語言規則的順序依序對所述候選詞集合進行候選詞過濾，獲取過濾后候選詞集合，包括：

過濾所述候選詞集合中詞頻小于預設的詞頻閾值的候選詞，獲取第一候選詞集合；

過濾所述第一候選詞集合中點互信息小于預設的點互信息閾值的候選詞，獲取第二候選詞集合，所述點互信息根據公式：獲取，其中，n為候選詞w的長度，是候選詞在語料庫中出現的頻率，是中的第i個中文漢字或英文單詞，和是組成候選詞w的兩段字符串，，分別是這兩段字符串在語料庫中的頻率；

過濾所述第二候選詞集合中鄰接熵小于預設的鄰接熵閾值的候選詞，獲取第三候選詞集合，所述鄰接熵根據公式：獲取，其中，和分別是候選詞的左右信息熵，和分別是候選詞的左右鄰接字符的集合，和分別是左右鄰接字符，和分別是左右鄰接字符的頻率，候選詞的鄰接熵取和兩者的最小值；

過濾所述第三候選詞集合中不符合語法規則和組合詞規則的候選詞，獲取過濾后候選詞集合。