[發明專利]一種網絡輿情數據處理方法及系統

在審

• 申請號: 202110962745.6
• 申請日: 2021-08-20
• 公開（公告）號: CN113672792A
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 何紹欽
• 申請（專利權）人: 廣州暢驛智能科技有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/9536;G06F16/958;G06Q50/00
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 彭東威

本申請公開了一種網絡輿情數據處理方法及系統。服務端響應于輿情處理任務調度指令，生成與輿情處理任務調度指令對應的任務信息；服務端將任務信息發送給移動端，使得移動端根據接收到的任務信息，結合保存在移動端中，且與任務信息對應的輿情數據分析算法，執行輿情數據分析任務，以獲得網絡輿情數據處理結果。使得在相同的成本下，可以配置更多移動終端進行輿情數據處理，將集中處理的任務分發給移動終端本地化處理，減輕了服務器的運算要求，大大的降低的服務器的采購成本使得輿情數據的爬取和處理的效率得到較大的提升，解決了現有的輿情分析的爬蟲技術對網絡、PC硬件采集及維護、部署成本高而限制了輿情數據采集、處理的效率的技術問題。

技術領域

本申請涉及輿情數據處理技術領域，尤其涉及一種網絡輿情數據處理方法及系統。

背景技術

輿情分析主要技術涉及信息采集，現有的輿情分析的爬蟲技術主要部署在PC服務器上進行數據采集，對網絡、PC硬件采集及維護、部署成本相對比較高，不利于爬蟲節點的擴展，嚴重限制了輿情數據采集、處理的效率。

發明內容

本申請提供了一種網絡輿情數據處理方法及系統，用于解決現有的輿情分析的爬蟲技術主要部署在PC服務器上進行數據采集，對網絡、PC硬件采集及維護、部署成本高而限制了輿情數據采集、處理的效率的技術問題。

有鑒于此，本申請第一方面提供了一種網絡輿情數據處理方法，包括：

服務端響應于輿情處理任務調度指令，生成與所述輿情處理任務調度指令對應的任務信息；

所述服務端將所述任務信息發送給移動端，使得所述移動端根據接收到的所述任務信息，結合所述移動端中保存的，且與所述任務信息對應的輿情數據分析算法，執行輿情數據分析任務，以獲得網絡輿情數據處理結果，其中，所述輿情數據分析算法的獲得方式為所述移動端接收所述服務端下發的所述輿情數據分析算法，并保存在所述移動端本地。

優選地，所述輿情處理任務調度指令的生成方式為：所述服務端根據用戶輸入的操作指令生成的。

優選地，所述輿情數據分析算法具體包括：網絡輿情數據爬取子算法和輿情數據標注處理子算法。

優選地，所述生成與所述輿情處理任務調度指令對應的任務信息之后，且將所述任務信息發送給所述移動端之前還包括：

所述服務端確定各個所述移動端的任務狀態，以便將所述任務信息發送給所述任務狀態為可用狀態的移動端。

優選地，所述任務狀態的確定過程為：

所述服務端判斷所述移動端是否正在執行輿情數據分析任務，若否，則所述移動端的任務狀態為可用狀態，若是，則判斷所述輿情數據分析任務的任務進度是否大于預置的任務進度閾值，若是，則所述移動端的任務狀態為可用狀態，若否，則所述移動端的任務狀態為繁忙狀態。

優選地，所述生成與所述輿情處理任務調度指令對應的任務信息之后，且將所述任務信息發送給所述移動端之前還包括：

所述服務端判斷所述移動端是否保存有與所述任務信息對應的輿情數據分析算法，若否，則將所述輿情數據分析算法發送給所述移動端，以便所述移動端接收所述輿情數據分析算法，并將所述輿情數據分析算法保存在所述移動端本地。

優選地，所述輿情數據分析算法發送給所述移動端具體包括：

通過預設的算法封裝協議，對所述輿情數據分析算法進行壓縮封裝處理，得到算法數據包，并將所述算法數據包發送給所述移動端，其中所述算法數據包包括：算法包序號、算法名稱、算法包大小、算法包類型、算法語義內容、要求開始執行時間、執行順序、接收成功標志、算法執行進度反饋、算法包校驗。

優選地，所述將所述算法數據包發送給所述移動端之前還包括：

通過數據壓縮算法，對所述算法數據包進行二次壓縮。