[發明專利]一種數據接收方法及裝置

有效

• 申請號: 201710523792.4
• 申請日: 2017-06-30
• 公開（公告）號: CN107329832B
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 馬元文
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/54;G06F11/30
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

本發明提供的低延時的PingBack數據接收方法及裝置，將實時數據過濾通路與批處理通路分開。在實時數據過濾通路中將運行數據保存在PingBack服務器中的本地隊列，避免PingBack服務器上的落盤；運行數據的實時過濾在公共資源池中進行，只需讀取一次存儲在本地隊列上的運行數據，并加載保存在公共資源池中的多個過濾規則，分別根據各個所述過濾規則對所述運行數據進行過濾，將數據過濾任務從PingBack服務器中轉移到公共資源池。避免了對PingBack服務器從客戶端上接收的運行數據的多次讀取，降低了PingBack服務器的CPU資源的占用率，降低實時數據過濾通路的延遲。

技術領域

本發明涉及通信技術領域，更具體的，涉及一種數據接收方法及裝置。

背景技術

線上應用，尤其是各種客戶端應用會通過埋點的方式向服務器報告一些運行的信息。通過收集這些信息，可以檢測線上應用的健康狀況，或者統計用戶使用服務的一些指標，以便改進應用，或提升用戶體驗。這種通過埋點收集應用信息的方式，稱為Pingback數據收集機制，一般架構如圖1所示。

目前，Pingback數據接收流程是，各個端或線上服務應用，向Pingback集群上的各臺Server發送數據，每個Server收到數據后將數據寫入磁盤Disk，業務設置過濾規則從磁盤上過濾想要的數據，并將過濾后的數據發送到Kafka集群做實時處理，同時，全量數據發送到分布式文件系統(英文全稱：Hadoop Distributed File System，英文簡稱：HDFS)做批處理。

但是，目前這種框架PingbackServer接收到數據后首先會寫入磁盤，然后在過濾時又從磁盤讀取全量數據，過濾后存入Kafka集群，導致實時計算通路的延遲增大。同時，若需增加過濾規則，則需要另起程序讀取全量數據，根據增加新的過濾規則對全量數據進行過濾，導致Pingback Server的CPU使用率不斷增加，造成實時數據過濾通路延遲。

發明內容

有鑒于此，本發明提供了一種數據接收方法及裝置，將實時數據過濾通路與批處理通路分開，在實時數據過濾通路中將數據保存在PingBack服務器中的本地隊列，避免PingBack服務器上的落盤，并支持過濾規則的動態編輯，降低了PingBack服務器的CPU資源的占用率，降低實時數據過濾通路的延遲。

具體技術方案如下：

一種數據接收方法，所述方法包括：

將各個客戶端發送的運行數據保存到PingBack服務器的本地隊列中；

通過PingBack服務器端口實時讀取所述本地隊列中的運行數據；

加載公共資源池中存儲的多個過濾規則，并分別根據各個所述過濾規則對所述運行數據進行過濾，得到與每個所述過濾規則相對應的過濾后的運行數據；

將過濾后的運行數據發送到Kafka集群中。

優選的，所述方法還包括：

將各個客戶端發送的所述運行數據保存到PingBack服務器的磁盤中，并將在預設周期內保存在所述磁盤中的運行數據發送到分布式文件系統HDFS進行批處理。

優選的，所述方法還包括：

當接收到用戶的編輯指令時，根據所述編輯指令對所述公共資源池中的過濾規則進行編輯。

優選的，所述編輯操作包括增加、刪除、修改和查詢。

一種數據接收裝置，包括：

第一保存單元，用于將各個客戶端發送的運行數據保存到PingBack服務器的本地隊列中；

讀取單元，用于通過PingBack服務器端口實時讀取所述本地隊列中的運行數據；