[發明專利]一種實時判斷大數據離散程度的方法

在審

• 申請號: 201910204265.6
• 申請日: 2019-03-18
• 公開（公告）號: CN111708979A
• 公開（公告）日: 2020-09-25
• 發明（設計）人: 呂紀竹
• 申請（專利權）人: 呂紀竹
• 主分類號: G06F17/15
• 分類號: G06F17/15
• 代理公司: 北京市隆安律師事務所 11323
• 代理人: 權鮮枝

本發明公開了一種通過在大數據上迭代計算指定規模的計算子集的方差和或標準方差從而可以實時地判斷大數據離散程度的方法，系統和計算系統程序產品。本發明的實施方案包括基于調整前計算子集的方差和或標準方差的多個組件迭代計算調整后計算子集的方差和或標準方差的多個組件，然后根據需要基于迭代計算的組件生成調整后計算子集的方差和或標準方差。迭代計算方差和或標準方差可以基于最新數據實時更新計算結果并避免訪問調整后計算子集中的所有數據元素和執行重復計算從而提高計算效率，節省計算資源和降低計算系統能耗，使得實時判斷大數據離散程度高效低耗及一些實時判斷大數據離散程度的場景從不可能變為可能。

技術領域

大數據或流數據分析。

背景技術

互聯網，移動通訊,導航,網游,感應技術和大規模計算基礎設施每天產生海量數據。大數據就是由于其巨大規模,快速變化及增長速度而超出了傳統數據庫系統的處理能力及傳統分析方法的分析能力的數據。

方差和標準方差反映了數據的離散程度。因此計算方差和或標準方差后判斷大數據離散程度顯而易見，困難和挑戰在于如何實時地在大數據上計算方差和標準方差。

為了能夠隨時得到利用了最新數據的判斷結果，方差和或標準方差可能會在大數據集有變化后需要重新計算。因此，一些(可能很多)數據元素會被重復訪問和使用。例如，有可能方差和或標準方差在含有n個數據元素的計算子集上被計算。當一個數據元素從計算子集里被去除和一個數據元素被加入計算子集后，計算子集里所有的n個數據元素被訪問來重新計算方差和或標準方差。

取決于需要，計算子集的規模可能非常大，例如計算子集中的數據元素可能分布在云平臺的成千上萬臺計算設備上。在數據變化后的大數據上用傳統方法重新計算方差和或標準方差無法做到實時處理并且占用和浪費大量計算資源。

發明內容

本發明拓展到方法，系統和計算系統程序產品以迭代方式計算大數據的調整后計算子集的方差和或標準方差從而可以實時判斷大數據的離散程度。為一個調整后計算子集迭代計算方差和或標準方差包括基于調整前計算子集的方差和或標準方差的多個組件迭代計算調整后計算子集的方差和或標準方差的多個組件然后根據需要基于迭代計算的組件生成調整后計算子集的方差和或標準方差。迭代計算方差和或標準方差只需要訪問和使用迭代計算的組件，以及新加入和去除的數據元素而避免訪問調整后計算子集中的所有數據元素和執行重復計算從而降低數據訪問延遲，提高計算效率，節省計算資源和降低計算系統能耗，使得實時判斷大數據離散程度高效低耗及一些實時判斷大數據離散程度的場景從不可能變為可能。

對于一個給定的方差和或標準方差迭代算法,假設在同一輪迭代計算中所有迭代計算的組件(包括計算子集中每個變量的和或平均值)總數為p(p1)。直接迭代的組件個數為v(1≤v≤p),則間接迭代的組件個數為w＝p-v(w≥0)。其中計算子集中每個變量的和或平均值是必須迭代計算的特殊組件。和或平均值可以被直接或間接迭代計算。

計算系統初始化存儲在一個或多個存儲媒體上的一個大數據集的一個調整前計算子集中方差和或標準方差的，包括每個變量的一個和或一個平均值在內的，兩個以上(p,p1)組件。該兩個以上組件的初始化包括從計算設備可讀媒體上接收或訪問已計算過的組件或基于調整前計算子集中的數據元素根據組件的定義來計算。

計算系統訪問一個要從調整前計算子集中去除的數據元素和一個要被加入到調整前計算子集的數據元素。

計算系統通過從調整前計算子集中去除要去除的數據元素和向調整前計算子集加入要加入的數據元素來調整調整前計算子集。

計算系統為調整后計算子集迭代計算和或平均值或和及平均值。