[發明專利]行業關鍵詞提取方法及裝置

有效

• 申請號: 202010016745.2
• 申請日: 2020-01-08
• 公開（公告）號: CN111241240B
• 公開（公告）日: 2023-08-15
• 發明（設計）人: 付喆
• 申請（專利權）人: 中國聯合網絡通信集團有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06F16/36;G06F40/284;G06F40/247
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 胡艾青;臧建明

1.一種行業關鍵詞提取方法，其特征在于，包括：

對原始數據處理，獲取長關鍵詞，其中，所述原始數據包括行業數據和待提取數據；其中，行業數據是與待提取數據相關的行業；

對所述長關鍵詞進行分詞處理，獲取短關鍵詞，其中，所述分詞處理是根據所述長關鍵詞獲取的有向無環圖進行處理；

根據所述長關鍵詞和所述行業數據，獲取各行業的長關鍵詞詞頻數據；

根據所述短關鍵詞和所述行業數據，獲取各行業的短關鍵詞詞頻數據；

根據各行業的所述長關鍵詞詞頻數據和所述短關鍵詞詞頻數據，獲取所述行業關鍵詞數據；其中，行業關鍵詞數據包括長關鍵詞、短關鍵詞和對應的詞頻；

所述對原始數據處理，獲取長關鍵詞，包括：

根據預設的詞庫對所述待提取數據進行數據清洗處理，獲取所述長關鍵詞；

所述預設的詞庫包括預設無用詞庫和預設地名詞庫；

所述根據預設的詞庫對所述待提取數據進行數據清洗處理，獲取所述長關鍵詞，包括：

查詢所述待提取數據中是否包含與預設無用詞庫和預設地名詞庫中詞匯相同的詞語，如果包含，則將其從待提取數據中刪除，以獲取所述長關鍵詞。

2.根據權利要求1所述的方法，其特征在于，所述對所述長關鍵詞進行分詞處理，獲取短關鍵詞，包括：

根據所述長關鍵詞，獲取有向無環圖；

獲取所述有向無環圖的最大概率路徑；

根據所述最大概率路徑，獲取所述短關鍵詞。

3.根據權利要求2所述的方法，其特征在于，所述根據所述長關鍵詞，獲取有向無環圖，包括：

根據預設的統計詞典，對所述長關鍵詞處理，獲取前綴詞統計結果；

根據所述前綴詞統計結果，獲取前綴詞典；

根據所述前綴詞典，對所述長關鍵詞進行切分處理，獲取切分結果；

根據所述切分結果獲取所述有向無環圖。

4.根據權利要求1所述的方法，其特征在于，所述根據所述短關鍵詞和所述行業數據，獲取各行業的短關鍵詞詞頻數據之后，還包括：

根據所述短關鍵詞詞頻數據，對所述短關鍵詞進行降序排序；

確定排序為前K名的所述短關鍵詞作為所述行業的關鍵詞。

5.根據權利要求1所述的方法，其特征在于，所述待提取數據包括政企自然客戶名稱數據；

所述對原始數據處理，獲取長關鍵詞，包括：

對政企自然客戶名稱數據處理，獲取所述長關鍵詞。

6.根據權利要求1所述的方法，其特征在于，在所述根據所述長關鍵詞、所述短關鍵詞和所述行業數據，獲取行業關鍵詞數據之前，還包括：

對所述長關鍵詞和所述短關鍵詞進行去重處理，獲取去重后的所述長關鍵詞和所述短關鍵詞。

7.一種行業關鍵詞提取裝置，其特征在于，包括：

長關鍵詞模塊，用于對原始數據處理，獲取長關鍵詞，其中，所述原始數據包括行業數據和待提取數據；其中，行業數據是與待提取數據相關的行業；

短關鍵詞模塊，用于對所述長關鍵詞進行分詞處理，獲取短關鍵詞，其中，所述分詞處理是根據所述長關鍵詞獲取的有向無環圖進行處理；

行業關鍵詞模塊，用于根據所述長關鍵詞、所述短關鍵詞和所述行業數據，獲取行業關鍵詞數據；

所述行業關鍵詞模塊具體用于：

根據所述長關鍵詞和所述行業數據，獲取各行業的長關鍵詞詞頻數據；根據所述短關鍵詞和所述行業數據，獲取各行業的短關鍵詞詞頻數據；根據各行業的所述長關鍵詞詞頻數據和所述短關鍵詞詞頻數據，獲取所述行業關鍵詞數據；其中，行業關鍵詞數據包括長關鍵詞、短關鍵詞和對應的詞頻；

所述長關鍵詞模塊具體用于：

根據預設的詞庫對所述待提取數據進行數據清洗處理，獲取所述長關鍵詞；

所述預設的詞庫包括預設無用詞庫和預設地名詞庫；

所述長關鍵詞模塊具體用于：

根據所述預設無用詞庫和所述預設地名詞庫，對所述待提取數據進行數據清洗處理，獲取所述長關鍵詞；

所述長關鍵詞模塊還具體用于：查詢所述待提取數據中是否包含與預設無用詞庫和預設地名詞庫中詞匯相同的詞語，如果包含，則將其從待提取數據中刪除，以獲取所述長關鍵詞。