[發明專利]短文本關鍵詞提取方法及裝置

在審

• 申請號: 202011107170.1
• 申請日: 2020-10-16
• 公開（公告）號: CN114386393A
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 汪濤;張守菊;黃佳佳;戴永恒;劉學謙
• 申請（專利權）人: 電科云（北京）科技有限公司
• 主分類號: G06F40/216
• 分類號: G06F40/216;G06F40/284;G06F16/33;G06F16/35
• 代理公司: 北京金咨知識產權代理有限公司 11612
• 代理人: 秦景芳

1.一種短文本關鍵詞提取方法，其特征在于，包括：

將待提取關鍵詞文本和與其來源相關的文本進行拼接，得到長文本；

利用設定主題模型對所述長文本進行主題分類，得到主題分類數據；

基于所述主題分類數據計算考慮類別統計信息的單詞重要性得分，得到所述待提取關鍵詞文本的關鍵詞。

2.如權利要求1所述的短文本關鍵詞提取方法，其特征在于，將待提取關鍵詞文本和與其來源相關的文本進行拼接，得到長文本，包括：

將待提取關鍵詞文本和其所來源的初始文本進行拼接，得到拼接后的文本；其中，所述的與其來源相關的文本包括所述的其所來源的初始文本；

將多個拼接后的文本按設定屬性進行聚合，得到長文本。

3.如權利要求2所述的短文本關鍵詞提取方法，其特征在于，所述設定屬性為作者信息。

4.如權利要求1所述的短文本關鍵詞提取方法，其特征在于，所述設定主題模型為LDA主題模型。

5.如權利要求1或4所述的短文本關鍵詞提取方法，其特征在于，基于所述主題分類數據計算考慮類別統計信息的單詞重要性得分，得到所述待提取關鍵詞文本的關鍵詞之前，還包括：

確定所述設定主題模型的最優主題個數，以得到對應所述最優主題個數的所述主題分類數據。

6.如權利要求5所述的短文本關鍵詞提取方法，其特征在于，確定所述設定主題模型的最優主題個數，以得到對應所述最優主題個數的所述主題分類數據，包括：

利用perplexity方法確定所述設定主題模型的最優主題個數，以得到對應所述最優主題個數的所述主題分類數據。

7.如權利要求1至4任一項所述的短文本關鍵詞提取方法，其特征在于，基于所述主題分類數據計算考慮類別統計信息的單詞重要性得分，得到所述待提取關鍵詞文本的關鍵詞，包括：

基于所述主題分類數據利用基于TFIDF改進的CTD算法計算單詞重要性得分，得到所述待提取關鍵詞文本的關鍵詞。

8.如權利要求7所述的短文本關鍵詞提取方法，其特征在于，基于TFIDF改進的CTD算法包含：單詞在一類別中出現的次數、該單詞對應該類別的逆文檔頻率、及該單詞對應該類別的逆類別頻率。

9.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1至8任一項所述方法的步驟。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1至8任一項所述方法的步驟。