[發明專利]一種數據處理方法、分布式文件系統及數據服務器

在審

• 申請號: 201710330248.8
• 申請日: 2017-05-11
• 公開（公告）號: CN107169084A
• 公開（公告）日: 2017-09-15
• 發明（設計）人: 徐佳宏;賴國琴;陳戀
• 申請（專利權）人: 深圳市茁壯網絡股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙)44285
• 代理人: 王仲凱

技術領域

本發明涉及大數據分析領域，尤其涉及一種數據處理方法、分布式文件系統及數據服務器。

背景技術

大數據分析，是指企業采用各種方式捕獲到海量、多樣、真實的數據，然后對這些數據進行分析處理。分布式文件系統是大數據分析的基礎，其中包含多個數據服務器，為大數據分析提供所需的數據。分布式文件系統對應有多個客戶端，各個客戶端采用頁面埋點技術收集用戶行為數據，然后將采集的數據上報至分布式文件系統，由分布式文件系統過濾不合格的數據，保留合格的數據。

在現有技術中，分布式文件系統不能提供其內部的數據處理情況，從而無法為技術人員判斷分布式文件系統的運行情況提供依據。

發明內容

有鑒于此，本發明提供一種數據處理方法、分布式文件系統及數據服務器，以解決現有技術中分布式文件系統不能提供其內部的數據處理情況的問題。技術方案如下：

一種數據處理方法，所述方法應用于分布式文件系統，所述方法包括：

接收客戶端上傳的數據；

統計接收到所述客戶端上傳的所有數據的接收數據總條數；

過濾所述客戶端上傳的數據中的不合格數據；

統計過濾掉的所有不合格數據的過濾數據總條數。

上述的方法，優選的，所述分布式文件系統包括多個數據服務器；所述統計接收到所述客戶端上傳的所有數據的接收數據總條數，包括：

獲取每個所述數據服務器接收到數據的接收數據條數；其中，所述接收數據條數由所述數據服務器統計該數據服務器所接收到的、所述客戶端上傳的數據的條數得到；

對獲取的各個所述接收數據條數求和，得到所述接收數據總條數。

上述的方法，優選的，所述分布式文件系統包括多個數據服務器；所述統計過濾掉的所有不合格數據的過濾數據總條數，包括：

獲取每個所述數據服務器過濾掉的不合格數據的過濾數據條數；其中，所述過濾數據條數由所述數據服務器統計該數據服務器過濾掉的不合格數據的條數得到；

對獲取的各個所述過濾數據條數求和，得到所述過濾數據總條數。

上述的方法，優選的，還包括：

實時顯示所述接收數據總條數和所述過濾數據總條數。

上述的方法，優選的，還包括：

按照預設周期，保存所述接收數據總條數和所述過濾數據總條數。

上述的方法，優選的，還包括：

當接收到包含目標時間范圍的查詢請求時，確定與所述目標時間范圍相對應的單位時間；

按所述單位時間將所述目標時間范圍劃分成多個時間區間；

對于每一個所述時間區間，當所述時間區間內存在已保存的所述接收數據總條數和所述過濾數據總條數時，確定所述時間區間為目標時間區間；

依據已保存的所述接收數據總條數和所述過濾數據總條數，計算所述目標時間區間內的目標接收數據條數和目標過濾數據條數；

顯示與每個所述目標時間區間相對應的目標接收數據條數和目標過濾數據條數。

上述的方法，優選的，所述依據已保存的所述接收數據總條數和所述過濾數據總條數，計算所述目標時間區間內的目標接收數據條數和目標過濾數據條數，包括：

在所述目標時間區間內，確定所述接收數據總條數的最大值和最小值，以及，確定所述過濾數據總條數的最大值和最小值；

對所述接收數據總條數的最大值和最小值做差，得到目標接收數據條數，以及，對所述過濾數據總條數的最大值和最小值做差，得到目標過濾數據條數。

一種數據處理方法，應用于數據服務器，包括：

接收客戶端上傳的數據；

統計所述數據服務器接收到的所述客戶端上傳的數據的接收數據條數；

過濾所述客戶端上傳的數據中的不合格數據；

統計所述數據服務器過濾掉的不合格數據的過濾數據條數。

一種分布式文件系統，包括統計裝置和多個數據服務器，其中，所述統計裝置包括第一統計單元和第二統計單元；其中：

所述數據服務器用于，接收客戶端上傳的數據；

所述第一統計單元用于，統計每個所述數據服務器接收到所述客戶端上傳的數據的接收數據總條數；

所述數據服務器還用于，過濾所述客戶端上傳的數據中的不合格數據；

所述第二統計單元用于，統計每個所述數據服務器過濾掉的不合格數據的過濾數據總條數。

一種數據服務器，包括：

接收單元，用于接收客戶端上傳的數據；