[發明專利]一種多任務稀疏貝葉斯極限學習機回歸方法

有效

• 申請號: 202010097148.7
• 申請日: 2020-02-17
• 公開（公告）號: CN111291898B
• 公開（公告）日: 2020-12-11
• 發明（設計）人: 黃永;李惠;高競澤
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06N3/04;G06N3/08
• 代理公司: 哈爾濱市陽光惠遠知識產權代理有限公司 23211
• 代理人: 孫莉莉

1.一種多任務稀疏貝葉斯極限學習機回歸方法，其特征在于：所述回歸方法應用于巖土工程中，具體包括以下步驟：

步驟一、對于單隱含層神經網絡，由零均值高斯分布隨機生成神經網絡輸入層權值矩陣Φ和隱含層神經元偏置矩陣B，對全部L個任務的輸入x_i(i＝1...L)均使用相同的Φ和B映射到高維空間H_i＝f(x_iΦ+B)，從而構建L個任務的基函數矩陣H_i；

步驟二、通過多任務稀疏貝葉斯學習方法，從L個任務的基函數矩陣H_i和L個任務的輸出t_i(i＝1...L)中推斷出L個任務共享的超參數α_j，j＝1...M，M為隱含層神經元個數，并得到每個任務各自的輸出層權值w_i的后驗概率分布；

步驟三、從輸出層權值w_i的后驗概率分布中選取合適的值作為神經網絡輸出層權值，令每個任務輸出層權值w_i＝μ_i，μ_i為后驗概率分布最大值處，在高斯分布中為均值；

所述全部L個任務包括任務1和任務2，對于任務1，以液性指數、豎向有效應力為輸入，土壤靈敏度的對數值為輸出；對于任務2，以液性指數、豎向有效應力為輸入，預固結應力的對數值為輸出。

2.根據權利要求1所述的方法，其特征在于：所述步驟一具體為：

步驟1.1、基于極限學習機的回歸問題能夠統一寫為：

其中，w_j為輸出層權值，θ_j為與第j個隱含層節點相連輸入層權值與隱含層偏置參數，對于全部M個隱含層節點Θ＝[θ₁，...，θ_M]，包含了從零均值高斯分布中隨機生成的神經網絡輸入層權值矩陣Φ和隱含層神經元的偏置矩陣B；h_j(.)為激活函數，極限學習機中取為

步驟1.2、對全部L個任務，均使用相同輸入層至隱含層參數Θ，即全部L個任務的輸入層權值矩陣Φ和隱含層神經元偏置矩陣B均相同，僅輸入x_i不同，從而由不同任務中得到L個行數不同、列數相同的基函數矩陣：

其中，N為數據量；

步驟1.3、步驟1.1中的回歸問題改寫為矩陣形式：

Hw＝T

對于極限學習機而言，通過求H的M-P廣義逆能夠求解輸出層權值w；在多任務稀疏貝葉斯極限學習機中，通過層次貝葉斯模型對輸出層權值w進行求解。

3.根據權利要求2所述的方法，其特征在于：所述步驟二具體為：

步驟2.1、對于第i個任務的輸出層權值w_i，其先驗分布建模為零均值高斯分布：

其中，α₀為噪聲精度參數，其先驗建模為Gamma分布：

p(α₀|a，b)＝Ga(α₀|a，b)

其中，a是形狀參數，b是逆尺度參數；

步驟2.2、對于第i個任務的輸出層權值w_i，其后驗分布經推導為：

其中：

A＝diag(α₁，α₂，...，α_M)

步驟2.3、超參數α通過經驗貝葉斯方法估計，并可得到輸出層權值的后驗分布μ，∑：具體為：

步驟2.3.1、初始化α：對j＝1...M分別計算證據函數增量：

其中：

K_i＝N_i+2a

s_i，j＝H′_i，jH_i，j

q_i，j＝H′_i，jt_i

g_i，j＝t′_it_i+2b

對證據函數增量最大的神經元j，重新估計其對應的超參數α_j：

步驟2.3.2、如用j表示α發生更新的基函數序號，k表示當前已考慮的基函數序號，l表示全部基函數序號，只需進行如下步驟的循環即可求解參數和超參數α，μ，∑：

(1)通過α_j計算出每個任務的μ_i，∑_i，S_i，l，Q_i，l，G_i；

(2)通過以下公式計算判別式θ_j

s_i，j＝α_jS_i，j/(α_j-S_i，j)

q_i，j＝α_jQ_i，j/(α_j-S_i，j)

θ_j大于0的基函數保留在模型中，θ_j小于0的基函數從模型中剔除，由此形成三種狀態：增添基函數、刪除基函數、重新估計基函數；對應三種狀態分別求出證據函數的增量，選擇增量最大的方案對α_j進行修改，即令表示更新后的超參數α_j，重復上述過程進行循環；

對于增添基函數、刪除基函數和重新估計基函數，下面給出α_j更新后證據函數增量及μ_i，∑_i，S_i，l，Q_i，l，G_i的計算方法，對于多任務情況，總的證據函數增量只需對所有任務的證據函數增量進行求和即可；

a.增添基函數

通過以下公式計算μ_i，∑_i，S_i，l，Q_i，l，G_i：

其中，∑_i，jj＝(α_i，j+S_i，j)^-1，μ_i，j＝∑_i，jjQ_i，j，e_i，j＝H_i，j-H_i∑_iH′_iH_i，j

b.重新估計基函數

通過以下公式計算μ_i，∑_i，S_i，l，Q_i，l，G_i：

其中，∑_i，k是∑_i的第k列，

c.刪除基函數

通過以下公式計算μ_i，∑_i，S_i，l，Q_i，l，G_i：

步驟2.4、當證據函數增量小于閾值時，結束循環，得到單隱含層神經網絡輸出層權值的后驗概率分布均值μ_i，令每個任務的輸出層權值w_i＝μ_i即可，得到的每個任務的輸出層權值w_i為高度稀疏的，且對于所有任務，w_i中非零項出現在相同位置。