[發明專利]一種對模型進行線性組合的集成學習方法

在審

• 申請號: 201711461471.2
• 申請日: 2017-12-28
• 公開（公告）號: CN108197713A
• 公開（公告）日: 2018-06-22
• 發明（設計）人: 劉思聰;潘嶸
• 申請（專利權）人: 中山大學
• 主分類號: G06N99/00
• 分類號: G06N99/00
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 林麗明

本發明涉及一種對模型進行線性組合的集成學習方法，包括有以下步驟：S1.獲取所有候選模型對當前數據集的預測結果并保存下來；x表示數據集；S2.初始化權重向量S3.對進行歸一化：S4.計算集成模型S5.從數據集中選取若干個數據(x_i,y_i)，然后分別計算各個H(x_i)，其中y_i表示數據x_i的標簽；S6.計算各個H(x_i)的損失函數L(H(x_i),y_i)的均值，然后根據計算的均值對權重向量進行后向梯度更新；S7.重復步驟S5～S6直至集成模型收斂。

技術領域

本發明涉及機器學習中的集成學習領域，更具體地，涉及一種對模型進行線性組合的集成學習方法。

背景技術

在一個機器學習的項目中，經常會使用多個模型和超參數對同一個數據集進行學習，獲取到多個不同的結果。然后將這些不同的結果整合到一起獲得一個性能更優的結果。

上述集成學習方法在具體使用的時候包括有一下幾個元素：

數據集：m個數據以及對應的標簽(x₁，y₁),(x₂，y₂),...,(x_m，y_m)

算法輸入：n個不同的結果h₁(x),h₂(x),...,h_n(x)

算法輸出：集成模型H(x)

衡量指標：性能

進行模型整合的時候，現有技術主要通過以下方式進行整合：

1)直接平均法(Averaging)：直接將不同的結果求均值：

2)集成選擇法(Ensemble Selection)：集成選擇法通過有放回選取多個模型，然后將多個模型的結果取平均得到最后結果。選取的流程如下：

a.從一個空的模型集合S＝{}開始；

b.從候選模型集合選取一個模型加入模型集合，使得模型集合中的性能最好，其中

c.重復b步直到所有模型某個固定步數或者所有模型被選中過；

d.獲取集成模型

對二分類0-1的概率輸出的結果，常用的整合方法還有以下兩種：

3)對數幾率回歸法(Logistics Regression)：

記所有模型結果為

記模型可學參數為

則集成模型為

根據集成模型的損失函數L(H(x),y)，可學參數和b對損失函數求梯度，進行梯度下降更新。

4)嶺回歸法(Ridge Regression)：

嶺回歸是對數幾率回歸的一個變種，區別在于對可學參數施加了L2正則約束，即新的損失函數為

但是，以上四種方式在具體使用的時候，存在著以下技術缺陷：

1)直接平均法(Averaging)無可學參數，無法根據數據調整優化。

2)集成選擇法(Ensemble Selection)在每次更新時都需要遍歷所有模型，計算消耗比較大，無法通過梯度更新。