[發明專利]一種基于大數據的并行方差分析方法及裝置

有效

• 申請號: 201710398191.5
• 申請日: 2017-05-31
• 公開（公告）號: CN107229600B
• 公開（公告）日: 2020-06-23
• 發明（設計）人: 吳斌;卜堯;閆丹鳳;王柏;劉東岳;陳玉峰
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06F17/16
• 分類號: G06F17/16
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 馬敬;項京

本發明實施例提供了一種基于大數據的并行方差分析方法及裝置,該方法包括：利用分布式文件系統HDFS讀取試驗數據，并存儲所述試驗數據，所述試驗數據為：行為m、列為p的矩陣，矩陣的每個元素為試驗數據X_ijx，其中，創建一個程序初始運行環境；根據所有試驗數據，計算統計量F；加載F分布表，并查詢F分布表，獲得F_α值，獲取信度閾值α＝s0和α＝s1，利用F分布表，根據信度閾值α＝s0和α＝s1在組間的自由度和組內的自由度對應尋找F_s0和F_s1；比較F_s0、F_s1和F，若FF_s0，則影響不顯著，F_s1≤FF_s0，則影響一般顯著；若F_α≥F_s1，則影響高顯著。該方法實現了對大數據簡化處理，進而進行大規模分析。

技術領域

本發明涉及數據統計技術領域，特別是涉及一種基于大數據的并行方差分析方法及裝置。

背景技術

隨著數據量的增長，數理統計成為處理信息、做出決策重要理論和方法，通過數理統方法可以從數據中獲取信息和判斷規律，從而作為數據挖掘工作的先導。

方差分析的前提條件是數據組之間滿足獨立，即事件一和事件二之間相互影響的概率，方差具有齊性，即各數據組方差相同，均為正態分布。其實質是檢驗多個正態分布總體均值是否相等，造成數據波動有兩個原因：一是影響因素水平不同，二是來自偶然誤差，方差分析的作用就是判斷是哪一個原因造成的。方差分析包括單因素分析和多雙因素分析，單因素分析包括單因素方差分析，多雙因素分析包括雙因素無重復方差分析和雙因素等重復方差分析，其中，單因素方差分析得出該因素是否對數據造成顯著性影響的結論，上述檢驗方法均在SPSS(Statistical Product and Service Solutions，統計產品與服務解決方案)中可以實現，SPSS可以根據輸入數據得出一張表，表中信息包含：方差來源、偏差平方和、自由度、方差、計算所得F值、顯著性水平(即最終結論)。

目前，現有軟件SPSS對數據進行處理時，一行為一條數據，包括信息有：影響因素A的種類、影響因素B的種類、影響因素C的種類等等以及在這些條件下的試驗結果。不同條件由不同列決定，這樣就造成數據規模消耗較大，例如，有A,B兩個因素，因素A包括10個不同的影響水平，因素B包括20個不同的影響水平，則有10*20＝200行數據記錄，如表1所示，如果再進行重復試驗2次，獲得10*20*2＝400行數據，總的規模就是4列，400行，4*400。

表1 傳統的試驗數據表