[發明專利]集成多元線性回歸算法

在審

• 申請號: 201710058008.7
• 申請日: 2017-01-23
• 公開（公告）號: CN106909719A
• 公開（公告）日: 2017-06-30
• 發明（設計）人: 王曉軍;張強;袁平
• 申請（專利權）人: 大連大學
• 主分類號: G06F17/50
• 分類號: G06F17/50
• 代理公司: 大連八方知識產權代理有限公司21226
• 代理人: 衛茂才

技術領域

本發明涉及集成多元線性回歸算法,屬于計算機應用技術領域。

背景技術

風洞是研究先進飛行器空氣動力學特性的重要實驗設備，隨著各類新型航空航天飛行器的研制與更新，對風洞試驗質量與效率的要求日益提高^[i，ⁱⁱ，^iii]。作為風洞試驗的重要性能指標，馬赫數的快速、準確預測對風洞流場品質的保證至關重要。由于風洞系統具有內部結構復雜、擾動繁多、各部分相互耦合等特點[i,^iv]，難以建立機理模型。因此，近年來，關于建立風洞馬赫數預測模型的方法主要集中于數據驅動法。隨著計算機科學技術的不斷進步，數據采集及存儲技術的持續發展，風洞試驗中累積了越來越龐大而復雜的數據集。

針對大規模數據集的回歸預測問題，有許多簡單的學習算法可以考慮，如多元線性回歸(Multiple Linear Regression-MLR)算法[^v]和回歸樹(Regression Tree)[^vi]。MLR算法是一種全局模型，它以簡單的線性形式描述整個數據空間，當數據包含多個變量，而且變量之間存在復雜的非線性關系時，難以實現精確預測。決策樹以類似流程圖的樹狀結構來表示模型的訓練結果，淺顯易懂[^vii]。回歸樹是將決策樹從分類問題拓展到回歸問題，它通過分段線性化的方式描述輸入、輸出變量之間的非線性關系。訓練樣本從根節點開始，按照某種分裂準則，被分配到父節點上，同理又從父節點分配到葉節點上。同一個葉節點上的樣本無論是輸入變量還是輸出變量都具有相似性。預測時，新樣本沿著樹的一條路徑到達某個葉節點，然后以該葉節點上所有訓練樣本輸出變量的平均值作為預測值。回歸樹具有簡單、快速等優點，但對數據的依賴性強、泛化能力差。

使用傳統的數據驅動法建立單一的風洞馬赫數預測模型，所得到的預測效果無法令人滿意。為了提高預測精度，王曉軍等[i]將隨機森林(Random Forest)[^viii]集成方法應用于風洞馬赫數預測中。隨機森林構建大小一致且獨立同分布的有差異的樣本子集，在解決回歸問題時，選擇回歸樹作為子模型的學習算法；在建立回歸樹子模型時，隨機選擇輸入特征對內部節點進行分裂。然后將所有回歸樹子模型的預測輸出進行簡單平均，獲得集成預測輸出。實驗結果表明隨機森林馬赫數預測模型取得了一定成果，但是隨著更多工況的加入，采集到的數據量隨之增大，數據復雜性逐漸提高，其預測能力反而在降低，所得到的預測結果已經無法令人滿意。

發明內容

為了提高風洞馬赫數的預測精度，本文提出了集成多元線性回歸(Ensemble Multiple Linear Regressions，EMLRs)算法，為基于大規模數據集的風洞馬赫數快速、準確預測問題的研究提供一種新的思路和方法。

本發明采取的技術方案如下：

集成多元線性回歸算法，包括如下步驟，

第一步:已知訓練集L_train＝{(X_k,Y_k):X_k∈Rⁿ,Y_k∈R,k＝1,...,N}，令θ表示葉節點最少樣本個數；

第二步:以分裂后的兩個樣本子集在輸出變量上具有最小均方誤差為分裂準則，以“如果葉節點樣本個數＜θ，將停止分裂”終止準則，建立具有二叉樹結構的回歸樹，即訓練樣本從根節點開始，根據某個特征的分段函數，被劃分到左、右兩個支路上形成父節點，同理又從父節點繼續往下劃分，直到滿足終止條件成為葉節點；

第三步:以回歸樹葉節點為樣本子集，令i＝1,...,P表示由L_Train產生的P個樣本子集，其中表示訓練子集L_i的樣本個數；以MLR算法為子模型的學習算法，在樣本子集上建立子模型，并通過最小二乘算法估計每個子模型的參數；MLR算法的子模型為

第四步:預測時，新輸入樣本沿著樹的一條路徑到達某個葉節點，并使用該葉節點上的MLR子模型預測輸出值；EMLRs將回歸樹有限個、離散的常數預測值轉變為MLR的連續預測，有利于模型預測精度的提升。