[發明專利]基于主題聚類的電力輿情摘要提取優化方法及系統

在審

• 申請號: 201911330354.1
• 申請日: 2019-12-20
• 公開（公告）號: CN111090731A
• 公開（公告）日: 2020-05-01
• 發明（設計）人: 史玉良;張暉;管永明;呂梁;胥鵬飛;劉智勇;李娜娜
• 申請（專利權）人: 山大地緯軟件股份有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06F16/34;G06F16/9535
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

本發明公開了基于主題聚類的電力輿情摘要提取優化方法及系統，包括：獲取待提取摘要的電力行業新聞文本；對待提取摘要的電力行業新聞文本以句子為單位進行聚類；使用隱含狄利克雷分布LDA對聚類結果進行主題詞抽取，獲取該電力文本的主題詞；統計待提取摘要的電力行業新聞文本中，與文本主題詞有相同或相近語義的詞語及其詞頻，并將其與文本主題詞進行合并，獲得電力行業新聞文本對應主題下的高頻詞詞集；對待提取摘要的電力行業新聞文本，構建文本網絡圖；基于文本網絡圖和高頻詞詞集進行摘要提取處理，獲取候選摘要句群；對候選摘要句群進行去冗余，得到初版摘要；對初版摘要進行優化得到最終版摘要，將最終版摘要輸出。

技術領域

本公開涉及輿情摘要提取技術領域，特別是涉及基于主題聚類的電力輿情摘要提取優化方法及系統。

背景技術

本部分的陳述僅僅是提到了與本公開相關的背景技術，并不必然構成現有技術。

電力行業關乎國計民生，電力相關事件往往受到廣大民眾和媒體的廣泛關注。電力輿情文本自動摘要提取基于網頁爬取的文本信息，利用數據處理技術提取或生成內容提要，從而完成對文章核心信息的描述。該技術的應用能夠使電力企業在信息爆炸時代及時掌控電力輿情信息，輔助電力用戶發現了解并利用相關的電力政策和新聞，進行有效的控制處理，有利于提升企業的輿情監控能力和應對能力。

在實現本公開的過程中，發明人發現現有技術中存在以下技術問題：

目前的文本自動摘要研究大多傾向于從原始文本中抽取表達文本核心思想的句子，使最終生成的摘要盡可能的包含文章原文所要表達的信息。文本自動摘要的生成算法很多，總結歸納發現，一方面是從外部影響因素出發，如考慮文章的結構信息、圖模型結構，或者是將多種方法進行融合，來改進或優化摘要提取算法；另一方面是從影響摘要提取的內部因素出發，借助相關算法挖掘文本信息，提取文章的主題，來提高生成文本摘要的質量。然而上述方法均存在考慮因素不全面、生成的摘要冗余信息高、原文主題不清晰及語義不連貫等問題。綜上所述，電力輿情自動摘要的生成缺乏行之有效的解決方案。

發明內容

為了解決現有技術的不足，本公開提供了基于二次主題聚類的電力輿情摘要提取方法及系統；

第一方面，本公開提供了基于主題聚類的電力輿情摘要提取優化方法；

基于主題聚類的電力輿情摘要提取優化方法，包括：

獲取待提取摘要的電力行業新聞文本；

對待提取摘要的電力行業新聞文本以句子為單位進行聚類；使用隱含狄利克雷分布對聚類結果進行主題詞抽取，獲取該電力文本的主題詞；

統計待提取摘要的電力行業新聞文本中，與文本主題詞有相同或相近語義的詞語及其詞頻，并將其與文本主題詞進行合并，獲得電力行業新聞文本對應主題下的高頻詞詞集；

對待提取摘要的電力行業新聞文本，構建文本網絡圖；

基于文本網絡圖和高頻詞詞集進行摘要提取處理，獲取候選摘要句群；對候選摘要句群進行去冗余，得到初版摘要；對初版摘要進行優化得到最終版摘要，將最終版摘要輸出。

第二方面，本公開還提供了基于主題聚類的電力輿情摘要提取優化系統；

基于主題聚類的電力輿情摘要提取優化系統，包括：

獲取模塊，其被配置為：獲取待提取摘要的電力行業新聞文本；

聚類模塊，其被配置為：對待提取摘要的電力行業新聞文本以句子為單位進行聚類；使用隱含狄利克雷分布對聚類結果進行主題詞抽取，獲取該電力文本的主題詞；

統計模塊，其被配置為：統計待提取摘要的電力行業新聞文本中，與文本主題詞有相同或相近語義的詞語及其詞頻，并將其與文本主題詞進行合并，獲得電力行業新聞文本對應主題下的高頻詞詞集；