[發明專利]一種基于網絡文本數據的水務輿情識別方法

有效

• 申請號: 202110346900.1
• 申請日: 2021-03-31
• 公開（公告）號: CN113051455B
• 公開（公告）日: 2022-04-26
• 發明（設計）人: 朱波;穆利;姜元春;吳銘;錢洋;王亞琦;熊迎秋;郝瀚;丁磊;隆云飛;闞道升
• 申請（專利權）人: 合肥供水集團有限公司;合肥工業大學;科大國創軟件股份有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/33;G06F40/284
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

本發明公開了一種基于網絡文本數據的水務輿情識別方法，其步驟包括：1、與水務相關的網絡文本數據的獲取，2、與水務相關的網絡文本數據的預處理，3、與水務相關的網絡文本數據的分析以及水務輿情的關注點發現。本發明能根據網址的類型確定網頁搜索策略，實現快速從海量網絡數據中獲取與水務相關的文本數據，并且結合主題分析發現水務輿情關注點，以實現水務輿情識別，從而能提高水務輿情識別的效率和準確性，并且其結果具有良好的可解釋性。

技術領域

本發明涉及數據挖掘技術領域，特別是涉及一種基于網絡文本數據的水務輿情識別方法。

背景技術

隨著互聯網的迅速發展和人們生活方式的不斷變化，與各行各業相關的網絡數據呈現爆炸式增長。因為這些網絡數據大部分都與人有關，體現著社會輿論的導向，所以這些網絡上的數據受到企業的高度重視，水務行業也是如此，如何從海量的網絡數據中獲取水務相關的網絡文本以及從其中發現社會輿論的關注點，實現水務輿情的識別成為一大難題。

發明內容

本發明是為了解決上述現有技術存在的不足之處，提出一種基于網絡文本數據的水務輿情識別方法，以期能解決水務輿情難識別的問題，快速從海量的網絡數據中獲取與水務相關的文本數據，并且能準確分析出水務網絡文本的關注點，從而能提高水務輿情識別的效率和準確性。

本發明為達到上述發明目的，采用如下技術方案：

本發明一種基于網絡文本數據的水務輿情識別方法的特點在于，包括以下步驟：

步驟1、與水務相關的網絡文本數據的獲取；

步驟1.1、根據網址類型，采用不同的網頁搜索策略采集目標網頁的網絡文本數據：

若所述網址類型為供水集團官方網址，則采用廣度優先策略；

若所述網址類型為政府門戶網址，則采用深度優先策略；

若所述網址類型為網絡社區或論壇網址，則根據所述目標網頁的網絡文本數據，獲取發布與水務相關的話題、評論或留言的用戶的類型，從而確定網頁搜索策略；

若所述用戶的類型為官方用戶，則采用深度優先策略；

若所述用戶的類型為個人用戶，則采用深度優先策略和廣度優先策略；

步驟1.2、根據所述目標網頁的網絡文本數據，獲取所述網絡文本數據所屬第一話題的所有參與用戶的等級；

若所屬第一話題的參與用戶的等級滿足預設等級要求，則采集相應參與用戶在所屬第一話題下發表的全部網絡文本數據；

步驟1.3、根據所述目標網頁的網絡文本數據，獲取所述網絡文本數據所屬第二話題的所有參與用戶的話題參與次數；

若所屬第二話題的參與用戶的話題參與次數超過預設參與次數閾值，則對相應參與用戶在所屬第二話題的生命周期內發布的網絡文本數據進行采集；

步驟1.4、根據參與用戶在所屬第二話題的生命周期內發布的網絡文本數據，獲取所發布的網絡文本數據所屬第三話題的所有參與用戶及其等級；

若所屬第三話題的參與用戶的等級滿足預設等級要求，則采集相應參與用戶在所屬第三話題下發表的全部網絡文本數據；

步驟2、與水務相關的網絡文本數據的預處理；

步驟2.1、對與水務相關的網絡文本數據進行分詞處理，從而將文本轉變為詞向量；

步驟2.2、構建與水務相關的網絡文本數據停用詞表，用于對所述詞向量進行去停用詞處理，得到去停用詞后的詞向量；

步驟3、與水務相關的網絡文本數據的分析以及水務輿情的發現；