[發明專利]一種對海量變量進行篩選的方法及設備

有效

• 申請號: 201310023651.8
• 申請日: 2013-01-22
• 公開（公告）號: CN103942403B
• 公開（公告）日: 2017-07-14
• 發明（設計）人: 葉家杰;盛子夏
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F19/00
• 分類號: G06F19/00
• 代理公司: 北京國昊天誠知識產權代理有限公司11315
• 代理人: 許志勇

1.一種對變量進行篩選的方法，包括：

(a)從候選變量池中選擇符合預定顯著性限值的變量以構成第一變量池；

(b)針對所述第一變量池中的變量，基于第一預定規則獲得第一變量組合，所述第一預定規則為stepwise篩選規則；

(c)計算所述第一變量組合中各變量的方差膨脹因子值和標準化參數估計值；

(d)確定第一變量組合中的變量是否有任一變量的方差膨脹因子值大于預定的方差膨脹因子值；

(e)如果是，取第一變量組合中方差膨脹因子值最高的n個變量，并比較所述n個變量的方差膨脹因子值和標準化參數估計值，基于比較結果更新所述候選變量池，并基于更新后的候選變量池，執行步驟(a)～(d)；

(f)如果確定第一變量組合中的變量的方差膨脹因子值小于或等于預定的方差膨脹因子值，將所述第一變量組合作為最終變量組合輸出，并將輸出的所述變量通過加權的方式形成一個回歸模型并應用于數據處理與計算中。

2.如權利要求1所述的方法，還包括：

獲得所述候選變量池中各變量對目標變量的F檢驗值；并且在所述方法其中，比較所述n個變量的方差膨脹因子值和標準化參數估計值的步驟包括：將所述n個變量中F檢驗值最高的變量置為初始的冠軍變量，將其余n-1個變量置為挑戰變量，將挑戰變量的標準化參數估計和F檢驗值與冠軍變量的標準化參數估計值和F檢驗值進行比較。

3.如權利要求1所述的方法，其中，所述n為大于等于2的整數。

4.如權利要求2所述的方法，其中，將所述挑戰變量的標準化參數估計值和F檢驗值與冠軍變量的標準化參數估計值和F檢驗值進行比較的步驟包括：

(e1)將第i個挑戰變量的標準化參數估計值和F檢驗值與第i個冠軍變量的標準化參數估計值和F檢驗值進行比較；以及

(e2)基于比較結果從第一變量組合中剔除所述第i個挑戰變量和第i個冠軍變量中的一個，將第i個挑戰變量和第i個冠軍變量中未被剔除的那個變量作為第i+1個冠軍變量；

(e3)繼續執行步驟(e1)和(e2)，直到剔除n-1個變量；其中：i＝1，2，3，…，n-1；第1個冠軍變量即為初始冠軍變量。

5.如權利要求4所述的方法，其中，步驟(e2)包括：

若第i個挑戰變量的標準化參數估計值和F檢驗值都大于第i個冠軍變量的相應值，則將所述第i個冠軍變量從第一變量組合中剔除，將所述第i個挑戰變量置為第i+1個冠軍變量。

6.如權利要求4所述的方法，其中，步驟(e2)包括：

若所述第i個挑戰變量的標準化參數估計值和F檢驗值都小于所述第i個冠軍變量的相應值，則從第一變量組合中剔除所述第i個挑戰變量，將所述第i個冠軍變量置為第i+1個冠軍變量。

7.如權利要求4所述的方法，其中，步驟(e2)包括：

若第i個挑戰變量的標準化參數估計值小于第i個冠軍變量的標準化參數估計值并且所述第i個挑戰變量的F檢驗值大于第i個冠軍變量的F檢驗值，或者所述第i個挑戰變量的標準化參數估計值大于第i個冠軍變量的標準化參數估計值并且所述第i個挑戰變量的F檢驗值小于第i個冠軍變量的F檢驗值，則利用所述第i個挑戰變量、所述第i個冠軍變量與目標變量構建回歸模型，重新計算所述第i個挑戰變量和所述第i個冠軍變量在所述回歸模型中的標準化的參數估計值，將所述第i個挑戰變量和所述第i個冠軍變量在所述回歸模型的中標準化的參數估計值較小的一個變量從第一變量組合中剔除，將所述第i個挑戰變量和所述第i個冠軍變量在所述回歸模型中標準化的參數估計值較大的一個變量置為第i+1個冠軍變量。

8.如權利要求4～7任一項所述的方法，其特征在于，基于比較結果更新所述候選變量池的步驟包括：

將在第一變量組合中剔除的n-1個變量從所述候選變量池中剔除。

9.如權利要求1～7任一項所述的方法，其特征在于，從候選變量池中選擇符合預定顯著性限值的變量以構成第一變量池包括：

獲得變量的回歸系數的T檢驗值，獲得所述T檢驗值所對應的顯著性概率P值作為變量的顯著性值；選擇所述顯著性值小于預定顯著性限值的變量以構成第一變量池。