[發明專利]基于多目標進化優化的基模型池生成方法

在審

• 申請號: 202210208397.8
• 申請日: 2022-03-04
• 公開（公告）號: CN114692896A
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 胡旺;李欣悅;章語
• 申請（專利權）人: 電子科技大學
• 主分類號: G06N20/20
• 分類號: G06N20/20
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 閆樹平

1.一種基于多目標進化優化的基模型池生成方法，其特征在于：包括以下步驟：

步驟1、樣本數據預處理：獲取樣本數據，并將樣本數據預處理成算法需要的模式；

步驟2、樣本數據劃分：將預處理后的樣本數據劃分為訓練集T、驗證集V和測試集M；

步驟3、基模型結構選擇：根據需要構建的集成模型確定出集成學習中所需基模型的類型和超參數；

步驟4、基模型池訓練：采用多目標進化優化方法對訓練集T進行學習，得到一組互不占優的數據作為遴選基模型S；

步驟5、基模型優選：將驗證集V作為步驟4得到的遴選基模型S的輸入，得到驗證集V對應的輸出集，并利用該輸出集及驗證集V真實輸出計算出基模型的均方誤差MSE；然后結合指定規則從步驟4得到的遴選基模型S中篩選出指定數量的基模型；

步驟6、將步驟5得到的基模型作為集成學習的基模型，按照并行集成的方法構建集成模型。

2.根據權利要求1所述的一種基于多目標進化優化的基模型池生成方法，其特征在于：所述步驟4中，采用多目標進化優化方法對基模型超參數進行訓練，得到互不占優的一組基模型的詳細過程為：

步驟4.1、基模型初始化：以步驟3確定基模型類型和超參數為依據，初始化一組基模型，并確定基模型超參數到多目標尋優方法的解的映射規則；

步驟4.2、基模型適應度評估：將訓練集T輸入到步驟1所得基模型中，并依據預設多目標尋優生成問題的優化目標計算出基模型的適應度值；

步驟4.3、基模型進化迭代：通過進化算子迭代的方式對各基模型的超參數進行優化，推動基模型進化；

步驟4.4、基模型池管理：利用步驟4.3所得基模型超參數，求解出所需基模型生成問題的帕累托(Pareto)閾值前沿S，若達到預設多目標進化優化方法停止條件則停止實驗，此時的帕累托閾值前沿S即為遴選出的最優基模型的解集，否則繼續執行步驟4.2至4.4；

3.根據權利要求1所述的一種基于多目標進化優化的基模型池生成方法，其特征在于：上述集成學習中基模型池生成方法還包括：步驟7、對該集成模型的泛化性能評估，具體評估方法為：

將測試集M輸入到步驟6得到的集成模型中，通過計算得到一個輸出集；計算測試集通過集成模型得到的輸出集和已知該測試集M對應的真實輸出集之間的均方誤差MSE，來評估集成模型的泛化性能；均方誤差越小，集成模型的泛化性能越強。

4.根據權利要求1所述的一種基于多目標進化優化的基模型池生成方法，其特征在于：所述步驟1中樣本數據可以為實際應用中的真實數據，也可以為測試函數(DTLZ,ZDT,WFG等)中采集的數據。

5.根據權利要求1所述的一種基于多目標進化優化的基模型池生成方法，其特征在于：所述步驟1中對樣本數據的預處理是通過濾波去噪處理、白化處理或歸一化等處理實現。

6.根據權利要求1所述的一種基于多目標進化優化的基模型池生成方法，其特征在于：所述步驟4中采用的多目標尋優方法可為多目標遺傳算法(MOGA)或多目標粒子群優化算法等多目標進化優化算法(MOEA)中的任意一種。

7.根據權利要求1所述的一種基于多目標進化優化的基模型池生成方法，其特征在于：所述步驟4.2中預設多目標尋優生成問題的優化目標包括：多目標尋優中各基模型最小化預測誤差和各基模型構成參數的最小化向量范數；其中多目標尋優中各基模型最小化預測誤差表征基模型的泛化性能目標，各基模型構成參數的最小化向量范數表征結構簡單性目標；預測誤差包括但不限于最小化預測均方誤差MSE、最小化預測平均絕對誤差MAE、最小化預測均方根誤差RMSE；向量范數包括但不限于最小化1-范數||w||₁、最小化2-范數||w||₂。

8.根據權利要求1所述的一種基于多目標進化優化的基模型池生成方法，其特征在于：所述步驟5中基模型的均方誤差MSE集合指定規則篩選基模型時，所采用的指定規則包括但不限于：選用預測誤差較小的若干個基模型和帕累托閾值前沿面上位于拐點的基模型，使用時，任選一種即可。

9.根據權利要求1所述的一種基于多目標進化優化的基模型池生成方法，其特征在于：所述步驟2中在對樣本數據進行劃分時，還可以采用多次劃分數據獲取多個基模型與多目標尋優方法相結合的方式，通過多次劃分數據獲取多個基模型與多目標尋優方法的協同作用，可以進一步提高集成模型的泛化性能。