[發明專利]獲取文本意圖的方法和系統

在審

• 申請號: 202110653225.7
• 申請日: 2021-06-11
• 公開（公告）號: CN113360653A
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 張立冬;劉敏;潘偉;鄭婕;江志凌;魏佳;劉振元;許明陽
• 申請（專利權）人: 湖北中煙工業有限責任公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62;G06F40/216;G06F40/289
• 代理公司: 浙江千克知識產權代理有限公司 33246
• 代理人: 裴金華

1.獲取文本意圖的方法，其特征在于，所述方法包括：

根據本地數據庫中的歷史文本構建分詞詞典；

通過包含所述分詞詞典的分詞工具對所述歷史文本進行分詞，獲取分詞集合；

通過預設的空間向量模型和TF-IDF構建所述歷史文本的特征向量；

通過所述特征向量和預設的意圖類別對預設的支持向量機分類模型進行訓練；

通過經過所述訓練的支持向量機分類模型獲取待分類文本的意圖類別。

2.如權利要求1所述的方法，其特征在于，所述通過預設的空間向量模型和TF-IDF構建所述歷史文本的特征向量，包括：

根據公式：獲取所述分詞的TF-IDF值，其中，表示詞在文本中出現的次數，表示文本的總詞數，表示文本集合的大小，表示文本集合中包含詞的文本數量；

根據所述TF-IDF值獲取所述歷史文本的特征向量。

3.如權利要求1所述的方法，其特征在于，所述根據本地數據中的歷史文本構建分詞詞典，包括：

獲取本地數據庫中的歷史文本，并從所述歷史文本中生成n-gram構成的候選詞集合；

按照詞頻、點互信息、鄰接熵、語言規則的順序依序對所述候選詞集合進行候選詞過濾，獲取過濾后候選詞集合，所述詞頻為單個候選詞在所述候選詞集合中出現的次數。

4.如權利要求3所述的方法，其特征在于，所述按照詞頻、點互信息、鄰接熵、語言規則的順序依序對所述候選詞集合進行候選詞過濾，獲取過濾后候選詞集合，包括：

過濾所述候選詞集合中詞頻小于預設的詞頻閾值的候選詞，獲取第一候選詞集合；

過濾所述第一候選詞集合中點互信息小于預設的點互信息閾值的候選詞，獲取第二候選詞集合，所述點互信息根據公式：獲取，其中，n為候選詞w的長度，是候選詞在語料庫中出現的頻率，是中的第i個中文漢字或英文單詞，和是組成候選詞w的兩段字符串，，分別是這兩段字符串在語料庫中的頻率；

過濾所述第二候選詞集合中鄰接熵小于預設的鄰接熵閾值的候選詞，獲取第三候選詞集合，所述鄰接熵根據公式：獲取，其中，和分別是候選詞的左右信息熵，和分別是候選詞的左右鄰接字符的集合，和分別是左右鄰接字符，和分別是左右鄰接字符的頻率，候選詞的鄰接熵取和兩者的最小值；

過濾所述第三候選詞集合中不符合語法規則和組合詞規則的候選詞，獲取過濾后候選詞集合。

5.如權利要求1-4任一項所述的方法，其特征在于，所述分詞工具為jieba分詞工具，所述意圖類別包括：辦公電腦及外設運維、視頻會議運維、網絡安全運維、網絡運維、應用系統運維、主機運維。

6.獲取文本意圖的系統，其特征在于，所述系統包括：

分詞詞典構建模塊，用于根據本地數據庫中的歷史文本構建分詞詞典；

分詞集合獲取模塊，用于通過包含所述分詞詞典的分詞工具對所述歷史文本進行分詞，獲取分詞集合；

特征向量構建模塊，用于通過預設的空間向量模型和TF-IDF構建所述歷史文本的特征向量；

訓練模塊，用于通過所述特征向量和預設的意圖類別對預設的支持向量機分類模型進行訓練；

意圖類別獲取模塊，用于通過經過所述訓練的支持向量機分類模型獲取待分類文本的意圖類別。

7.如權利要求6所述的系統，其特征在于，所述通過預設的空間向量模型和TF-IDF構建所述歷史文本的特征向量，包括：

根據公式：獲取所述分詞的TF-IDF值，其中，表示詞在文本中出現的次數，表示文本的總詞數，表示文本集合的大小，表示文本集合中包含詞的文本數量；

根據所述TF-IDF值獲取所述歷史文本的特征向量。

8.如權利要求6所述的系統，其特征在于，所述根據本地數據中的歷史文本構建分詞詞典，包括：

獲取本地數據庫中的歷史文本，并從所述歷史文本中生成n-gram構成的候選詞集合；

按照詞頻、點互信息、鄰接熵、語言規則的順序依序對所述候選詞集合進行候選詞過濾，獲取過濾后候選詞集合，所述詞頻為單個候選詞在所述候選詞集合中出現的次數。