[發明專利]一種基于主題詞向量和網絡結構的主題關鍵詞提取方法

有效

• 申請號: 201711315360.0
• 申請日: 2017-12-12
• 公開（公告）號: CN108052593B
• 公開（公告）日: 2020-09-22
• 發明（設計）人: 胡曉慧;李超;曾慶田;戴明弟;趙中英
• 申請（專利權）人: 山東科技大學
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06K9/62
• 代理公司: 青島智地領創專利代理有限公司 37252
• 代理人: 陳海濱

1.一種基于主題詞向量和網絡結構的主題關鍵詞提取方法，其特征在于，具體包括：

對原始的文本語料進行分詞；

基于LDA主題模型對文本語料進行主題聚類，并獲得每個主題中與該主題相關度為top100的關鍵詞集合KeywordsSet₁＝{k₁，...，k₁₀₀}；

利用word2vec將文本語料中的每個詞表示為一個詞向量，通過計算詞向量之間的余弦值獲得每兩個詞之間的語義相似度；

分別計算出與關鍵詞集合KeywordsSet₁中的每個關鍵詞在語義上相似度top5的詞，關鍵詞集合KeywordsSet₁中的詞及其在語義上相似度top5的詞共同組成新的關鍵詞集合KeywordsSet₂；

以關鍵詞集合KeywordsSet₂中的每個關鍵詞為節點，詞與詞之間的語義相似度為邊的權重，構建關鍵詞網絡，并根據每個節點的PageRank值獲得關鍵詞集合KeywordsSet₂中top20的詞作為該主題的關鍵詞，構成最終的關鍵詞集合KeywordsSet_final；

所述關鍵詞網絡構建過程中，構建步驟具體包括：

S1：利用詞向量之間的余弦關系，計算在同一主題下與主題聚類步驟中獲得的初始關鍵詞語義相似度top5的詞，去重并與關鍵詞集合KeywordsSet₁形成新的關鍵詞集合KeywordsSet₂；

S2：計算每個主題下，關鍵詞集合KeywordsSet₂中每個詞兩兩之間的相似度作為兩點之間的權重；

S3：設置閾值，過濾相似度低于閾值的邊；

S4：構建每個主題的關鍵詞網絡；

S5：主題關鍵詞提取：關鍵詞網絡構建完成后，計算每個主題網絡中PageRank值從高到低的top20個節點，將其對應的詞作為該主題的關鍵詞集合KeywordsSet_final。

2.如權利要求1所述的一種基于主題詞向量和網絡結構的主題關鍵詞提取方法，其特征在于，所述分詞，即將獲取的原始文本分割成詞序列以便后續主題聚類和關鍵詞提取，分詞的結果作為word2vec的輸入時去掉特殊符號；作為LDA的輸入時，去掉虛詞、無法作為主題關鍵詞的地名以及與主題無關的重復的介詞。

3.如權利要求1所述的一種基于主題詞向量和網絡結構的主題關鍵詞提取方法，其特征在于，基于LDA主題模型對文本語料進行主題聚類，在語言建模中使用perplexity來衡量建模效果好壞，即較低的perplexity表示更好的泛化性能，perplexity計算式如下：

其中，P(w_i|t_j)是詞w_i在主題t_j上的分布，P(t_j|d)是主題t_j在文檔d上的分布，N是語料庫中無重復的詞總數，K是主題數，i＝1，...，K，j＝1，...，K。

4.如權利要求1所述的一種基于主題詞向量和網絡結構的主題關鍵詞提取方法，其特征在于，在所述詞向量生成過程中，以標題和內容的混合文本的分詞結果作為輸入獲得每個詞的詞向量表示模型的過程。