[發明專利]一種使用大數據進行遞減處理的方法

在審

• 申請號: 201810831255.0
• 申請日: 2018-07-26
• 公開（公告）號: CN108984783A
• 公開（公告）日: 2018-12-11
• 發明（設計）人: 劉聰玲;趙文銀;約翰·格力高
• 申請（專利權）人: 佛山市甜慕鏈客科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 佛山粵進知識產權代理事務所(普通合伙) 44463
• 代理人: 張敏

本發明公開了一種使用大數據進行遞減處理的方法，該方法包括：由基于計算設備的計算系統初始化滯后l(l>0)；處理移除元素，進行遞減調整；由基于計算設備的計算系統直接遞減地導出滯后1處的自相關的一個或多個分量，而不是基于滯后的自相關的一個或多個分量的調整后的計算窗口的和和均值，而不是計算窗口的總和和平均值，基于從調整后的計算窗口的每一側移除的數據元素和/或數據元素，直接遞減地導出自相關的一個或多個分量，以減少基于計算設備的計算系統執行的操作的數量，從而提高計算效率。

技術領域

本發明涉及大數據技術領域，具體而言，涉及一種使用大數據進行遞減處理的方法。

背景技術

互聯網，移動通信，導航，在線游戲，傳感技術和大規模計算基礎設施每天都在產生大量數據。大數據是超出傳統數據庫系統處理能力的數據，并且由于其大容量，快速移動和增長速度而分析傳統分析方法的容量?，F在，越來越多的公司依靠大數據做出實時決策來解決各種問題。當前的方法涉及利用大量計算資源，這些計算資源非常昂貴，但仍然可能無法滿足基于最新信息的實時決策的需要，尤其是在金融業中。如何高效，及時，經濟地處理和分析大數據對數據分析師和計算機科學家來說是一項艱巨的挑戰。

處理大數據可以包括對多個數據元素執行計算。在對大數據執行某些統計計算時，要訪問的數據元素的數量可能非常大。例如，在計算自相關時，可能需要訪問(可能很大)數量的數據元素。

此外，當從大數據集中移除舊數據元素時，重新計算一些統計計算。因此，可以重復訪問(可能大的)數據元素。例如，可以為計算窗口計算自相關，該計算窗口的大小n保持遞減以從大數據集中排除所訪問或接收的數據元素。這樣，每次訪問或接收要刪除的數據元素時，都從計算窗口中移除該元素。在從具有大小n的計算窗口中移除數據元素之后，然后訪問調整后的計算窗口中的n-1個數據元素以重新計算自相關。

根據需要，計算窗口大小n可能非常大，因此計算窗口中的數據元素可以分布在包括數十萬計算設備的云上。在以傳統方式進行一些數據更改之后，重新執行大數據集上的自相關計算會導致響應緩慢和計算資源的大量浪費。

發明內容

本發明提出了一種使用大數據進行遞減處理的方法，該方法包括：

由基于計算設備的計算系統初始化滯后l(l>0)；處理移除元素，進行遞減調整；由基于計算設備的計算系統直接遞減地導出滯后1處的自相關的一個或多個分量，而不是基于滯后的自相關的一個或多個分量的調整后的計算窗口的和和均值，而不是計算窗口的總和以及平均值；基于從調整后的計算窗口的每一側移除的數據元素和/或數據元素，直接遞減地導出自相關的一個或多個分量，以減少基于計算設備的計算系統執行的操作的數量，從而提高計算效率。

由基于計算設備的計算系統初始化滯后l(l>0)，計算窗口大小n(n>2*l+1)，和或均值或兩者，以及一個或多個其他分量用于計算窗口的滯后1的自相關的計算窗口，其中計算窗口包含存儲在一個或多個存儲介質中的至少一個中的數據集的n個數據元素；

基于計算設備的計算系統訪問或接收要從計算窗口中移除的數據元素；

通過基于計算設備的計算系統，通過從計算窗口中移除所訪問或接收的數據元素并調整計算窗口大小來調整計算窗口；

通過基于計算設備的計算系統遞減地導出調整后的計算窗口的和或平均值或兩者；

由基于計算設備的計算系統直接遞減地導出滯后1處的自相關的一個或多個分量，而不是基于滯后的自相關的一個或多個分量的調整后的計算窗口的和和均值。而不是計算窗口的總和和平均值，包括：

分別從調整的計算窗口的每一側訪問或接收l個數據元素，從而不訪問調整的計算窗口中的所有數據元素以減少數據訪問等待時間，從而節省計算資源并減少基于計算設備的計算系統的功耗；