[發明專利]一種網絡輿情數據處理方法及系統

在審

• 申請號: 202110962745.6
• 申請日: 2021-08-20
• 公開（公告）號: CN113672792A
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 何紹欽
• 申請（專利權）人: 廣州暢驛智能科技有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/9536;G06F16/958;G06Q50/00
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 彭東威

1.一種網絡輿情數據處理方法，其特征在于，包括：

服務端響應于輿情處理任務調度指令，生成與所述輿情處理任務調度指令對應的任務信息；

所述服務端將所述任務信息發送給移動端，使得所述移動端根據接收到的所述任務信息，結合所述移動端中保存的，且與所述任務信息對應的輿情數據分析算法，執行輿情數據分析任務，以獲得網絡輿情數據處理結果，其中，所述輿情數據分析算法為所述服務端下發給所述移動端，并保存在所述移動端本地的算法，具體包括：網絡輿情數據爬取子算法和輿情數據標注處理子算法。

2.根據權利要求1所述的一種網絡輿情數據處理方法，其特征在于，所述輿情處理任務調度指令的生成方式為：所述服務端根據用戶輸入的操作指令生成的。

3.根據權利要求1所述的一種網絡輿情數據處理方法，其特征在于，所述網絡輿情數據爬取子算法是基于Appium和puppeteer提供的api接口構建的，用于通過所述api接口控制瀏覽器及APP，模擬用戶操作作為爬蟲訪問頁面，以收集輿情數據；

所述輿情數據標注處理子算法是基于HanLP自然語言處理工具包構建的，用于通過基于所述HanLP自然語言處理工具包計算所述輿情數據與輿情關鍵詞的相似度，以根據所述相似度對所述輿情數據進行標注處理，其中，所述輿情關鍵詞存儲在所述移動端接收到的任務信息中。

4.根據權利要求1所述的一種網絡輿情數據處理方法，其特征在于，所述生成與所述輿情處理任務調度指令對應的任務信息之后，且將所述任務信息發送給所述移動端之前還包括：

所述服務端確定各個所述移動端的任務狀態，以便將所述任務信息發送給所述任務狀態為可用狀態的移動端。

5.根據權利要求4所述的一種網絡輿情數據處理方法，其特征在于，所述任務狀態的確定過程為：

所述服務端判斷所述移動端是否正在執行輿情數據分析任務，若否，則所述移動端的任務狀態為可用狀態，若是，則判斷所述輿情數據分析任務的任務進度是否大于預置的任務進度閾值，若是，則所述移動端的任務狀態為可用狀態，若否，則所述移動端的任務狀態為繁忙狀態。

6.根據權利要求1所述的一種網絡輿情數據處理方法，其特征在于，所述生成與所述輿情處理任務調度指令對應的任務信息之后，且將所述任務信息發送給所述移動端之前還包括：

所述服務端判斷所述移動端是否保存有與所述任務信息對應的輿情數據分析算法，若否，則將所述輿情數據分析算法發送給所述移動端，以便所述移動端接收所述輿情數據分析算法，并將所述輿情數據分析算法保存在所述移動端本地。

7.根據權利要求6所述的一種網絡輿情數據處理方法，其特征在于，所述輿情數據分析算法發送給所述移動端具體包括：

通過預設的算法封裝協議，對所述輿情數據分析算法進行壓縮封裝處理，得到算法數據包，并將所述算法數據包發送給所述移動端，其中所述算法數據包包括：算法包序號、算法名稱、算法包大小、算法包類型、算法語義內容、要求開始執行時間、執行順序、接收成功標志、算法執行進度反饋、算法包校驗。

8.根據權利要求7所述的一種網絡輿情數據處理方法，其特征在于，所述將所述算法數據包發送給所述移動端之前還包括：

通過數據壓縮算法，對所述算法數據包進行二次壓縮。

9.根據權利要求1所述的一種網絡輿情數據處理方法，其特征在于，還包括：

所述服務端響應于新移動端發送的節點擴展請求，根據所述節點擴展請求中包含的移動端信息，對所述新移動端進行注冊以及配置。

10.一種網絡輿情數據處理系統，其特征在于，包括：服務端和移動端，所述移動端與所述服務端通信連接；

所述服務端被配置為：響應于輿情處理任務調度指令，生成與所述輿情處理任務調度指令對應的任務信息，并將所述任務信息發送給所述移動端；

所述移動端被配置為：根據接收到的任務信息，結合所述移動端中保存的，且與所述任務信息對應的輿情數據分析算法，執行輿情數據分析任務，以獲得網絡輿情數據處理結果，其中，所述輿情數據分析算法為所述移動端接收所述服務端下發的所述輿情數據分析算法，并保存在所述移動端本地的算法，具體包括：網絡輿情數據爬取子算法和輿情數據標注處理子算法。