[發明專利]一種基于大數據的并行方差分析方法及裝置

有效

• 申請號: 201710398191.5
• 申請日: 2017-05-31
• 公開（公告）號: CN107229600B
• 公開（公告）日: 2020-06-23
• 發明（設計）人: 吳斌;卜堯;閆丹鳳;王柏;劉東岳;陳玉峰
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06F17/16
• 分類號: G06F17/16
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 馬敬;項京

1.一種基于大數據的并行方差分析方法,其特征在于，該方法包括：

利用分布式文件系統HDFS讀取試驗數據，并存儲所述試驗數據，所述試驗數據為：行為m、列為p的矩陣，矩陣的每個元素為試驗數據X_ijx，其中，m代表因素A中不同影響水平的個數，因素A中不同影響水平記為A1、A2、…、Ai、…、Am，r代表因素B中不同水平的個數，因素B中不同影響水平記為B1、B2、…、Bj、…、Br，s代表重復做試驗的次數；Ai和Bj所做的試驗數據為X_ij1、X_ij2、…、X_ijx、…、X_ijs；i∈[1,2,L,m]，j∈[1,2,L,r],x∈[1,2,L,s]，i、j、x、s、m和r屬于自然數，且s、m和r中至少兩項不能同時取零；

創建一個程序初始運行環境SparkContext；

根據所有試驗數據，在所述SparkContext中計算統計量F；

加載F分布表，并查詢F分布表，獲得F_α值，獲取信度閾值α＝s0和α＝s1，利用F分布表，根據信度閾值α＝s0和α＝s1在組間的自由度和組內的自由度對應尋找F_s0和F_s1；其中，F_α為因素A的信度α對應的統計量，F_s0為因素A的信度閾值s0對應的統計量，F_s1為因素A的信度閾值s1對應的統計量；

比較F_s0、F_s1和F，若F＜F_s0，則影響不顯著，F_s1≤F＜F_s0，則影響一般顯著；若F_α≥F_s1，則影響高度顯著。

2.如權利要求1所述的方法,其特征在于，所述利用分布式文件系統HDFS讀取形式如下矩陣的試驗數據，包括：

利用分布式文件系統HDFS讀取當m≠0、r＝0、s≠0時矩陣中的試驗數據，所述當m≠0、r＝0、s≠0時矩陣中的試驗數據為：行為m、列為s的試驗數據X_ix。

3.如權利要求1所述的方法,其特征在于，所述利用分布式文件系統HDFS讀取形式如下矩陣的試驗數據，包括：

利用分布式文件系統HDFS讀取當m≠0、r≠0、s＝1時矩陣中的試驗數據，所述m≠0、r≠0、s＝1時矩陣中的試驗數據為：行為m、列為r的試驗數據X_ij。

4.如權利要求1所述的方法,其特征在于，所述利用分布式文件系統HDFS讀取形式如下矩陣的試驗數據，包括：

利用分布式文件系統HDFS讀取當m≠0、r≠0、s≠0時矩陣中的試驗數據，所述m≠0、r≠0、s≠0時矩陣中的試驗數據為：行為m、列為r·s的試驗數據X_ijx。