[發(fā)明專利]基于固定預(yù)算的核嶺回歸在線學(xué)習(xí)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810593893.3
• 申請(qǐng)日: 2018-06-11
• 公開（公告）號(hào): CN108875962A
• 公開（公告）日: 2018-11-23
• 發(fā)明（設(shè)計(jì)）人: 宋允全;高富豪;梁錫軍;漸令
• 申請(qǐng)（專利權(quán)）人: 中國石油大學(xué)（華東）
• 主分類號(hào): G06N99/00
• 分類號(hào): G06N99/00;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明涉及一種基于固定預(yù)算的核嶺回歸在線學(xué)習(xí)方法，首先通過數(shù)值實(shí)驗(yàn)確定預(yù)算取值，構(gòu)造初始學(xué)習(xí)樣本集合，建立核嶺回歸模型并求解得到預(yù)測(cè)器，利用低秩矩陣校正技術(shù)和Sherman?Morrison?Woodbury公式更新核嶺回歸模型得到在線預(yù)測(cè)器，進(jìn)而實(shí)現(xiàn)對(duì)數(shù)據(jù)流的在線預(yù)測(cè)。該方法采用固定預(yù)算策略，能有效控制在線學(xué)習(xí)模型的規(guī)模、節(jié)約存儲(chǔ)空間、有效降低計(jì)算復(fù)雜度、易于實(shí)現(xiàn)。本發(fā)明在線學(xué)習(xí)方法，能夠靈活處理具有數(shù)據(jù)流特征的在線預(yù)測(cè)問題，數(shù)據(jù)可以通過數(shù)據(jù)塊的形式收集，與傳統(tǒng)批處理方式以及當(dāng)前的在線學(xué)習(xí)方法相比，大幅度降低了計(jì)算復(fù)雜度和模型運(yùn)行時(shí)間，能夠高效處理回歸和分類問題。

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)領(lǐng)域，涉及數(shù)據(jù)挖掘和數(shù)據(jù)處理的方法，具體地說，涉及一種基于固定預(yù)算的核嶺回歸在線學(xué)習(xí)方法。

背景技術(shù)

嶺回歸通過放棄回歸系數(shù)估計(jì)的無偏性，以損失部分信息、降低精度為代價(jià)獲得更穩(wěn)健的回歸系數(shù)估計(jì)，在病態(tài)數(shù)據(jù)上的擬合效果優(yōu)于最小二乘法。而融合了核技巧的核嶺回歸可有效處理非線性問題因而得到了更為廣泛的應(yīng)用。傳統(tǒng)核嶺回歸模型的求解是基于批處理算法執(zhí)行的，算法的計(jì)算復(fù)雜度為O(n³)，其中n為樣本數(shù)。然而，越來越多的實(shí)際問題所處理的數(shù)據(jù)具有數(shù)據(jù)流特性，如動(dòng)態(tài)工業(yè)生產(chǎn)過程優(yōu)化、傳感器實(shí)時(shí)監(jiān)測(cè)等，其采樣數(shù)據(jù)均是以數(shù)據(jù)流的形式隨時(shí)間推移不斷采集的。批處理算法由于計(jì)算復(fù)雜度高，不適合處理上述數(shù)據(jù)流問題。為此，國內(nèi)外學(xué)者們開始研究核嶺回歸的在線學(xué)習(xí)算法，以降低計(jì)算復(fù)雜度，減少模型運(yùn)行時(shí)間，標(biāo)志性成果是B.W.Chen提出的增量式核嶺回歸在線學(xué)習(xí)方法。該方法利用 Sherman-Morrison-Woodbury公式迭代更新核嶺回歸模型，將每次模型更新的計(jì)算復(fù)雜度由 O(n³)降到O(n²)。由于樣本量隨時(shí)間線性增長，核嶺回歸模型的規(guī)模、存儲(chǔ)空間、運(yùn)行時(shí)間都將隨之不斷增加。為解決上述問題，亟待開發(fā)一種基于固定預(yù)算學(xué)習(xí)樣本集的核嶺回歸在線學(xué)習(xí)方法，在保證模型精度的同時(shí)有效控制模型的存儲(chǔ)空間和學(xué)習(xí)時(shí)間，以適應(yīng)數(shù)據(jù)流環(huán)境。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對(duì)現(xiàn)有核嶺回歸在線學(xué)習(xí)方法無法有效控制模型規(guī)模等不足，提出了一種基于固定預(yù)算的核嶺回歸在線學(xué)習(xí)方法，該方法能夠降低模型存儲(chǔ)空間，減少運(yùn)行時(shí)間，滿足應(yīng)用問題的實(shí)時(shí)性需求。

根據(jù)本發(fā)明實(shí)施例，提出了一種基于固定預(yù)算學(xué)習(xí)樣本集的核嶺回歸在線學(xué)習(xí)方法，含有以下步驟：

(一)通過數(shù)值實(shí)驗(yàn)確定預(yù)算取值；

(二)按照預(yù)算隨機(jī)選取初始學(xué)習(xí)樣本構(gòu)造初始學(xué)習(xí)樣本集合，建立嶺回歸模型，通過中心化方法將嶺回歸模型轉(zhuǎn)化為無截距的嶺回歸模型并得到嶺回歸解，引入核技巧將嶺回歸預(yù)測(cè)器等價(jià)轉(zhuǎn)化為核嶺回歸預(yù)測(cè)器；

(三)以mini-batch或one-by-one的形式采集數(shù)據(jù)流，采用預(yù)測(cè)器對(duì)數(shù)據(jù)流中的樣本進(jìn)行預(yù)測(cè)；

(四)采用3σ法則剔除數(shù)據(jù)流中的噪聲，以保持預(yù)測(cè)器的穩(wěn)定性；

(五)根據(jù)樣本貢獻(xiàn)值將部分樣本加入學(xué)習(xí)樣本集合，并按照最小貢獻(xiàn)準(zhǔn)則剔除相應(yīng)數(shù)量的樣本，維持預(yù)算穩(wěn)定；

(六)利用低秩矩陣校正技術(shù)以及Sherman-Morrison-Woodbury公式更新核嶺回歸模型，得到在線預(yù)測(cè)器，通過在線預(yù)測(cè)器對(duì)數(shù)據(jù)流進(jìn)行在線預(yù)測(cè)。

在根據(jù)本發(fā)明實(shí)施例的學(xué)習(xí)方法中，步驟(一)中，確定預(yù)算的具體步驟為：

(1)確定訓(xùn)練樣本集合和測(cè)試樣本集合。

(2)依次選取待測(cè)預(yù)算值，按照待測(cè)預(yù)算值在訓(xùn)練樣本集合中隨機(jī)選取相應(yīng)數(shù)目的樣本，建立核嶺回歸模型，并應(yīng)用測(cè)試樣本集合測(cè)試該預(yù)算值的精度。

(3)執(zhí)行步驟(2)10次，并計(jì)算各個(gè)預(yù)算的平均測(cè)試精度及平均測(cè)試時(shí)間。