[發(fā)明專利]集成多元線性回歸算法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710058008.7
• 申請(qǐng)日: 2017-01-23
• 公開(kāi)（公告）號(hào): CN106909719A
• 公開(kāi)（公告）日: 2017-06-30
• 發(fā)明（設(shè)計(jì)）人: 王曉軍;張強(qiáng);袁平
• 申請(qǐng)（專利權(quán)）人: 大連大學(xué)
• 主分類號(hào): G06F17/50
• 分類號(hào): G06F17/50
• 代理公司: 大連八方知識(shí)產(chǎn)權(quán)代理有限公司21226
• 代理人: 衛(wèi)茂才

1.集成多元線性回歸算法，其特征在于：包括如下步驟，

第一步:已知訓(xùn)練集L_train＝{(X_k,Y_k):X_k∈Rⁿ,Y_k∈R,k＝1,...,N}，令θ表示葉節(jié)點(diǎn)最少樣本個(gè)數(shù)；

第二步:以分裂后的兩個(gè)樣本子集在輸出變量上具有最小均方誤差為分裂準(zhǔn)則，以“如果葉節(jié)點(diǎn)樣本個(gè)數(shù)＜θ，將停止分裂”終止準(zhǔn)則，建立具有二叉樹(shù)結(jié)構(gòu)的回歸樹(shù)，即訓(xùn)練樣本從根節(jié)點(diǎn)開(kāi)始，根據(jù)某個(gè)特征的分段函數(shù)，被劃分到左、右兩個(gè)支路上形成父節(jié)點(diǎn)，同理又從父節(jié)點(diǎn)繼續(xù)往下劃分，直到滿足終止條件成為葉節(jié)點(diǎn)；

第三步:以回歸樹(shù)葉節(jié)點(diǎn)為樣本子集，令表示由L_Train產(chǎn)生的P個(gè)樣本子集，其中表示訓(xùn)練子集L_i的樣本個(gè)數(shù)；以MLR算法為子模型的學(xué)習(xí)算法，在樣本子集上建立子模型，并通過(guò)最小二乘算法估計(jì)每個(gè)子模型的參數(shù)；MLR算法的子模型為

第四步:預(yù)測(cè)時(shí)，新輸入樣本沿著樹(shù)的一條路徑到達(dá)某個(gè)葉節(jié)點(diǎn)，并使用該葉節(jié)點(diǎn)上的MLR子模型預(yù)測(cè)輸出值。

2.根據(jù)權(quán)利要求1所述的集成多元線性回歸算法，其特征在于：第三步的通過(guò)回歸樹(shù)算法構(gòu)造樣本子集以及建立MLR局部子模型的過(guò)程包括：將數(shù)據(jù)的劃分過(guò)程視為數(shù)據(jù)分析的非參數(shù)統(tǒng)計(jì)過(guò)程，依據(jù)某個(gè)特征的分段函數(shù)，任意樣本只能被劃分到左或右支路上，因此EMLRs產(chǎn)生相互獨(dú)立的、無(wú)重疊的樣本子集；以最小均方誤差為分裂準(zhǔn)則，使得根節(jié)點(diǎn)和內(nèi)部節(jié)點(diǎn)上的樣本進(jìn)行非對(duì)稱劃分；以“葉節(jié)點(diǎn)樣本個(gè)數(shù)＜θ”為終止準(zhǔn)則，使得樣本較少的內(nèi)部節(jié)點(diǎn)較早成為葉節(jié)點(diǎn)，反之較晚，因此EMLRs的樣本子集還具有樣本個(gè)數(shù)不一致的非對(duì)稱性特點(diǎn)；然后以葉節(jié)點(diǎn)為樣本子集，建立基于MLR算法的局部子模型，并通過(guò)最小二乘算法估計(jì)每個(gè)子模型的參數(shù)。

3.根據(jù)權(quán)利要求1所述的集成多元線性回歸算法，其特征在于：第四步的樣本的分配或樣本輸出的融合過(guò)程包括：任一訓(xùn)練樣本或新樣本都會(huì)沿著樹(shù)的一條路徑到達(dá)某個(gè)葉節(jié)點(diǎn)；到達(dá)同一個(gè)葉節(jié)點(diǎn)上的樣本，無(wú)論是輸入變量還是輸出變量都具有相似性；訓(xùn)練時(shí)，到達(dá)同一葉節(jié)點(diǎn)的訓(xùn)練樣本構(gòu)成一個(gè)樣本子集，用于建立MLR子模型；預(yù)測(cè)時(shí)，新樣本沿著樹(shù)的一條路徑到達(dá)某個(gè)葉節(jié)點(diǎn)，并使用該葉節(jié)點(diǎn)上的MLR子模型預(yù)測(cè)新樣本輸出值；使用MLR的連續(xù)預(yù)測(cè)值替代回歸樹(shù)有限個(gè)、離散的常數(shù)預(yù)測(cè)值，EMLRs可使每一個(gè)樣本都有屬于自己的預(yù)測(cè)值。