[發明專利]數據統計方法及數據統計裝置

在審

• 申請號: 202010151750.4
• 申請日: 2020-03-06
• 公開（公告）號: CN111475539A
• 公開（公告）日: 2020-07-31
• 發明（設計）人: 孟曉然;楊林
• 申請（專利權）人: 許昌學院
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/2455;G06F16/215;G06F11/34;G06F9/50
• 代理公司: 西安銘澤知識產權代理事務所(普通合伙) 61223
• 代理人: 吳林

本發明涉及數據處理技術領域，具體為數據統計方法及數據統計裝置；通過設置獲取單元、處理單元和編號單元，能夠利用matlab對每個選項卡內的噪聲數據和無關數據進行提取和清除，處理遺漏數據和清洗臟數據、空缺值，識別并刪除孤立點，在獲得的源數據基礎上進行進一步優化數據，剔除掉噪聲數據和無關數據，能夠獲取更加精準的數據；通過每個選項卡按照順序依次編號、分段，并在位于每個分段末尾的選項卡上進行結束標記，防止了數據的重復統計，提高了數據統計的效率，通過一個服務節點和多個數據統計服務器，能夠通過多個數據統計服務器同時對源數據進行統計處理，能夠大大的提高統計的速度和統計的數據量。

技術領域

本發明涉及數據處理技術領域，具體為數據統計方法及數據統計裝置。

背景技術

近些年來，隨著信息技術的不斷發展，應用程序的種類越來越多，為了分析應用程序的優點及缺點，需要統計應用程序內部功能的使用，以及用戶的使用方式習慣的統計和記錄，以根據用戶的習慣進行應用程序的改進。

數據在統計時，由于目前應用程序的種類較多，使用量巨大，所產生的源數據流量非常大，常規的數據統計裝置無法快速的進行數據的統計，同時產生的源數據中也會有很多的噪聲數據和無關數據，導致統計的數據不夠精準，數據統計的效率較低。

發明內容

為了解決上述技術問題，本發明提供數據統計方法及數據統計裝置。

本發明解決其技術問題采用以下技術方案來實現：

本發明提供一種數據統計方法，該方法包括以下步驟：

數據獲取、獲取源數據，對源數據進行聚類，即將源數據由多個類似的對象組成的多個類，每個類分配一個選項卡；

數據預處理、利用matlab對每個選項卡內的噪聲數據和無關數據進行提取和清除，處理遺漏數據和清洗臟數據、空缺值，識別并刪除孤立點，在matlab曲線擬合工具箱中提供的一元數據的分析工具，利用cftool進行平滑處理，進行擬合，數據篩選，以及擬合后的差值，外推，差分，積分等后處理工作；

數據編號、將每個選項卡按照順序依次編號，并按照編號通過二分法，對選項卡進行分段，在位于每個分段末尾的選項卡上進行結束標記；

數據統計、對每個選項卡分別進行數據統計，統計時在接收到具有結束標記的所述選項卡時，停止其統計請求中當前數據編號的更新以使所述選項卡休眠，或者關閉接收到統計結束標識的所述選項卡；

數據匯總、將統計完成后的選項卡中的數據發送到數據服務器中，按照選項卡的編號以及錄入的時間戳組合的方式進行命名。

優選的，根據各個所述選項卡的統計請求同時調用同一個接口函數；或者，根據各個選項卡的統計請求同時依次調用同一個接口函數。

優選的，所述數據統計時，由多個數據統計服務器配合完成，服務節點受到統計請求后將選項卡分別發送至多個數據統計服務器，數據統計服務器反饋任務量到服務節點，服務節點篩選出任務量最小的數據統計服務器，然后再向任務量最小的數據統計服務器分配新的選項卡。

優選的，所述內部計算節點只能通過指定的服務節點訪問，通過訪問地址的限制和賬號控制來防止其他服務節點的訪問，對其他的服務節點進行屏蔽。

本發明還提供一種數據統計裝置，包括：

獲取單元，安裝于設備終端內，在用戶使用設備終端時獲取設備終端的源數據，根據設備終端的類型對源數據進行聚類，即將源數據由多個類似的對象組成的多個類，每個類分配一個選項卡；