[發明專利]數據處理方法、裝置、服務器及存儲介質

有效

• 申請號: 201910618665.1
• 申請日: 2019-07-09
• 公開（公告）號: CN110334074B
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 蘆康平;劉深
• 申請（專利權）人: 西安點告網絡科技有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/172;G06F9/54
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 宋朋飛

本申請提供了一種數據處理方法、裝置、服務器及存儲介質，涉及大數據處理技術領域。該方法包括：接收多個事件請求，每個事件請求為用戶的操作行為所觸發的追蹤事件所對應的事件請求，每個事件請求包括：操作行為對應的數據；生成多個批文件，每個批文件包括：至少一個事件請求所包括的數據；響應每個批文件的生成操作，觸發每個批文件對應的調用指令；向云服務器發送調用指令，調用指令用于調用云服務器上的無服務應用程序，對每個批文件進行處理。通過采用云服務器上的無服務應用程序對生成的批文件進行分批處理，當出現多個批文件時，系統會自動擴展多個應用程序對批文件進行處理，從而實現了集群系統擴展的靈活性。

技術領域

本發明涉及大數據處理技術領域，具體而言，涉及一種數據處理方法、裝置、服務器及存儲介質。

背景技術

隨著移動互聯網的飛速增長，互聯網廣告的展示、點擊、轉化及In-App事件(客戶端操作)等過程中產生的數據都呈現指數級的增長，作為第三方的移動互聯網公司，普遍存在著百億級的海量數據存儲和分析的需要。海量數據的統計和存儲一般分為實時和離線兩種模式：實時模式，實現大數據的實時統計展現，用于向運營人員、技術支持人員提供最直接最靈敏的數據反饋；離線模式，用于實現后臺的長周期數據分析、離線訓練、機器學習等任務的執行。

通常，對于海量數據實時模式的架構實現，首先需要通過集群系統對獲取的流數據進行處理，再將處理結果發送至分布式消息系統來進行后續的處理。

但是，當遇到流量突增的情況時，為了滿足數據的處理要求，需要運維人員對上述的集群系統進行擴展和升級，從而使得計算成本相對變高、集群系統的彈性擴展靈活性較低。

發明內容

有鑒于此，本申請實施例的目的在于提供一種數據處理方法、裝置、服務器及存儲介質，用于解決現有技術中存在的集群系統彈性擴展靈活性較低的問題。

第一方面，本申請實施例提供了一種數據處理方法，該方法包括：

接收多個事件請求，每個所述事件請求為用戶的操作行為所觸發的追蹤事件所對應的事件請求，每個所述事件請求包括：所述操作行為對應的數據；

生成多個批文件，每個所述批文件包括：至少一個所述事件請求所包括的數據；

響應每個所述批文件的生成操作，觸發每個所述批文件對應的調用指令；

向云服務器發送所述調用指令，所述調用指令用于調用所述云服務器上的無服務應用程序，對每個所述批文件進行處理。

可選地，所述生成多個批文件，包括：

根據預設的緩存大小，將多個所述事件請求所包括的數據劃分為多個所述批文件，每個所述批文件的大小為所述預設的緩存大小；或者，根據預設的時間周期，將多個所述事件請求所包括的數據劃分為多個所述批文件，每個所述批文件包括：同一時間周期內的至少一個所述事件請求所包括的數據。

可選地，所述響應每個所述批文件的生成操作，觸發每個所述批文件對應的調用指令，包括：

響應每個所述批文件的生成操作，觸發每個所述批文件對應的調用事件；

生成所述調用事件對應的云服務應用程序的調度指令作為每個所述批文件對應的調用指令。

可選地，所述調用指令用于調用所述云服務器上的無服務應用程序，對每個所述批文件進行聚合分析的算子操作；所述方法還包括：

接收所述云服務器發送的多個流消息，每個流消息包括：一個所述批文件聚合分析后的數據；

向預設的數據庫和/或搜索引擎中寫入所述聚合分析后的數據。

可選地，所述向預設的數據庫和/或搜索引擎中寫入所述聚合分析后的數據，包括：