[發(fā)明專利]基于多目標(biāo)進化優(yōu)化的基模型池生成方法

在審

• 申請?zhí)枺?/td>: 202210208397.8
• 申請日: 2022-03-04
• 公開（公告）號: CN114692896A
• 公開（公告）日: 2022-07-01
• 發(fā)明（設(shè)計）人: 胡旺;李欣悅;章語
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G06N20/20
• 分類號: G06N20/20
• 代理公司: 電子科技大學(xué)專利中心 51203
• 代理人: 閆樹平

本發(fā)明屬于機器學(xué)習(xí)領(lǐng)域，具體涉及一種面向集成學(xué)習(xí)的基模型池智能生成方法。在本發(fā)明中，先通過訓(xùn)練集T和集成模型信息初始化若干基模型，并構(gòu)建基模型到多目標(biāo)優(yōu)化方法的解的映射規(guī)則；然后采用多目標(biāo)尋優(yōu)方法求解出集成學(xué)習(xí)中基模型生成問題的帕累托閾值前沿S，S表示為一組遴選基模型的解集。根據(jù)驗證集V和指定的篩選規(guī)則選擇指定數(shù)量的基模型，最后將選出的基模型作為集成學(xué)習(xí)的基模型，按照并行集成的方法構(gòu)建集成模型。與現(xiàn)有技術(shù)相比，本發(fā)明數(shù)據(jù)利用率高，且遴選出的基模型更加優(yōu)質(zhì)。

技術(shù)領(lǐng)域

本發(fā)明屬于機器學(xué)習(xí)領(lǐng)域，具體涉及一種面向集成學(xué)習(xí)的基模型池智能生成方法。

背景技術(shù)

單個學(xué)習(xí)器在很大概率上要么容易欠擬合要么容易過擬合，為了獲得泛化性能優(yōu)良的學(xué)習(xí)器，可以訓(xùn)練多個個體學(xué)習(xí)器，通過一定的融合策略，最終形成一個強學(xué)習(xí)器，或稱為集成學(xué)習(xí)模型。

個體學(xué)習(xí)器又稱為基模型。根據(jù)基模型性質(zhì)，集成模型可以劃分為同質(zhì)模型和異質(zhì)模型兩類：同質(zhì)模型是指由同一算法產(chǎn)生的，只有參數(shù)有所差異的相同類型基模型構(gòu)建的集成模型；異質(zhì)模型是指由不同類型基模型構(gòu)建的集成模型。目前來說，同質(zhì)模型的應(yīng)用是廣泛的，一般我們常說的集成學(xué)習(xí)的方法都是指的同質(zhì)模型。而同質(zhì)模型根據(jù)基模型之間的依賴關(guān)系可以劃分為串行和并行兩類：串行的原理是通過基模型之間的依賴，給錯誤分類樣本一個較大的權(quán)重來提升模型的性能，代表是Boosting算法；并行的原理是利用基模型的獨立性，通過平均以較大地降低誤差，代表是Bagging算法。

Bagging獲取基模型的基本原理是通過隨機采樣(Bootstrap)或數(shù)據(jù)劃分獲取多組不完全相同的訓(xùn)練集，根據(jù)每組訓(xùn)練集對基模型進行訓(xùn)練，一組訓(xùn)練集可以訓(xùn)練獲取一個基模型。這種獲取基模型的方法的原理可以概括性地描述為：通過多次數(shù)據(jù)劃分獲取多組訓(xùn)練集，訓(xùn)練獲取多個基模型，進而構(gòu)建集成模型。在并行集成Bagging中，目前常見的生成基模型的方法都是通過這種方式獲取基模型。但是，這種基模型生成方式的操作時間長，每組數(shù)據(jù)的利用率低，同時，對每個生成的基模型質(zhì)量沒有一個良好的衡量指標(biāo)，難以保證每次訓(xùn)練獲取的基模型的質(zhì)量，更難以保證集成模型的泛化能力。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對目前并行集成模型中存在的基模型生成耗時長且數(shù)據(jù)利用率低的問題，提供基于多目標(biāo)進化優(yōu)化的基模型池生成方法，以豐富現(xiàn)有的集成學(xué)習(xí)中基模型生成方法，提高數(shù)據(jù)利用率；同時還給出了基模型的性能評判指標(biāo)，為集成學(xué)習(xí)提供更優(yōu)質(zhì)的基模型，使構(gòu)建的集成模型具有更強的泛化能力。

為實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

基于多目標(biāo)進化優(yōu)化的基模型池生成方法，包括以下步驟：

步驟1、樣本數(shù)據(jù)預(yù)處理：獲取樣本數(shù)據(jù)，并將樣本數(shù)據(jù)預(yù)處理成算法需要的模式；

步驟2、樣本數(shù)據(jù)劃分：將預(yù)處理后的樣本數(shù)據(jù)劃分為訓(xùn)練集T、驗證集V和測試集M；

步驟3、基模型結(jié)構(gòu)選擇：根據(jù)需要構(gòu)建的集成模型確定出集成學(xué)習(xí)中所需基模型的類型和超參數(shù)；

步驟4、基模型池訓(xùn)練：采用多目標(biāo)進化優(yōu)化方法對訓(xùn)練集T進行學(xué)習(xí)，得到一組互不占優(yōu)的數(shù)據(jù)作為遴選基模型S；

步驟5、基模型優(yōu)選：將驗證集V作為步驟4得到的遴選基模型S的輸入，得到驗證集V對應(yīng)的輸出集，并利用該輸出集及驗證集V真實輸出計算出基模型的均方誤差MSE；然后結(jié)合指定規(guī)則從步驟4得到的遴選基模型S中篩選出指定數(shù)量的基模型；

步驟6、將步驟5得到的基模型作為集成學(xué)習(xí)的基模型，按照并行集成的方法構(gòu)建集成模型。

進一步的，所述步驟4中，采用多目標(biāo)進化優(yōu)化方法對基模型超參數(shù)進行訓(xùn)練，得到互不占優(yōu)的一組基模型的詳細過程為：

步驟4.1、基模型初始化：以步驟3確定基模型類型和超參數(shù)為依據(jù)，初始化一組基模型，并確定基模型超參數(shù)到多目標(biāo)尋優(yōu)方法的解的映射規(guī)則；