[發明專利]數據處理方法、系統及計算機設備

在審

• 申請號: 201810426525.X
• 申請日: 2018-05-07
• 公開（公告）號: CN108897613A
• 公開（公告）日: 2018-11-27
• 發明（設計）人: 蘭濤
• 申請（專利權）人: 廣西英騰教育科技股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F17/30
• 代理公司: 北京卓唐知識產權代理有限公司 11541
• 代理人: 唐海力;李志剛

本申請公開了一種數據處理方法、系統以及計算機設備。該數據處理方法包括：從多個數據來源獲取用戶點擊數據；緩存線程將所述用戶點擊數據存儲到緩存中；處理線程根據預設處理任務對所述緩存中的所述用戶點擊數據進行處理，并生成至少一個統計數據；消費者線程從所述緩存中提取至少一個所述統計數據，并對所述統計數據進行輸出。該數據處理系統包括：來源線程、緩存線程、緩存、處理線程、消費者線程、以及管理線程。本申請解決了現有用戶數據統計處理時處理速度緩慢，并且處理流程混亂繁瑣的問題。

技術領域

本申請涉及數據處理領域，具體而言，涉及一種數據處理方法、系統及計算機設備。

背景技術

隨著互聯網時代的飛速發展，網上學習已經贏得越來越多用戶的接受和認可。據統計2017年網上學習的用戶數量已經達到1.2億人，面對如此龐大的用戶數量，用戶數據的統計與處理就顯得越為重要。

目前網上學習的用戶數據統計處理一直是個難題，由于數據量巨大，處理起來十分緩慢并且流程十分繁瑣，常見的處理方法為，先將大量數據進行存儲，進而對數據進行定時輪詢處理，這種處理方法處理過程十分緩慢，而且處理過程中很容易出錯，導致統計結果不準確的問題。針對上述在用戶數據統計處理上的問題，目前尚未提出有效的解決方案。

發明內容

本申請的主要目的在于提供一種數據處理方法，以解決現有用戶數據統計處理時處理緩慢，以及處理流程混亂繁瑣的問題。

為了實現上述目的，根據本申請的一個方面，提供了一種數據處理方法。

根據本申請的數據處理方法包括：從至少一個數據來源獲取用戶點擊數據；緩存線程將所述用戶點擊數據存儲到緩存中；處理線程根據預設處理任務對所述緩存中的所述用戶點擊數據進行處理，并生成至少一個統計數據；消費者線程從所述緩存中提取至少一個所述統計數據，并對所述統計數據進行輸出。

進一步的，所述處理線程和所述消費者線程由如下步驟生成：接收輸入的任務代碼；根據所述任務代碼生成對應的目標任務；根據所述目標任務創建所述目標任務對應的處理線程和/或消費者線程。

進一步的，所述處理線程根據預設處理任務對所述緩存中的所述用戶點擊數據進行處理，包括：對所述緩存中的所述用戶點擊數據進行歸一化處理。

進一步的，所述數據處理方法還包括：管理線程監測服務器的壓力數據；當所述壓力數據超過預設閾值時，管理線程發出警報信息。

進一步的，所述管理線程監測服務器的壓力數據，包括：所述管理線程獲取每個所述緩存線程、處理線程、和消費者線程的壓力狀態，以及所述緩存的剩余存儲容量。

進一步的，當所述壓力數據超過預設閾值時：所述管理線程建立任務處理序列，以使所述緩存線程、處理線程、和消費者線程根據所述任務處理序列依次進行任務處理。

本申請的另一方面，提供了一種數據處理系統，該數據處理系統包括：

來源線程，用于從至少一個數據來源獲取用戶點擊數據；

緩存線程，用于將所述用戶點擊數據存儲到緩存中；

處理線程，用于根據預設處理任務對所述緩存中的所述用戶點擊數據進行處理，并生成至少一個統計數據；

消費者線程，用于從所述緩存中提取至少一個所述統計數據，并對所述統計數據進行輸出。

進一步的，該數據處理系統還包括：

任務生成模塊，用于接收輸入的任務代碼，并根據所述任務代碼生成對應的目標任務；

線程創建模塊，用于根據所述目標任務創建所述目標任務對應的處理線程和/或消費者線程。