[發(fā)明專利]基于變分貝葉斯深度學(xué)習(xí)的電網(wǎng)工程造價(jià)管控指標(biāo)預(yù)測方法

有效

• 申請?zhí)枺?/td>: 202110297761.8
• 申請日: 2021-03-19
• 公開（公告）號(hào): CN112862004B
• 公開（公告）日: 2022-08-05
• 發(fā)明（設(shè)計(jì)）人: 張磊;胡仕林;葉婧;熊致知;黃悅?cè)A;薛田良;李振華;楊楠;劉頌凱;張赟寧;張濤
• 申請（專利權(quán)）人: 三峽大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06Q10/04;G06Q50/06
• 代理公司: 宜昌市三峽專利事務(wù)所 42103
• 代理人: 吳思高

1.基于變分貝葉斯深度學(xué)習(xí)的電網(wǎng)工程造價(jià)管控指標(biāo)預(yù)測方法，其特征在于包括以下步驟：

S1：基于工程造價(jià)數(shù)據(jù)庫，選取概算前造價(jià)數(shù)據(jù)x與結(jié)算造價(jià)指標(biāo)y，形成新的訓(xùn)練樣本數(shù)據(jù)庫，表示為：D＝{(x₁,y₁),(x₂,y₂),...,(x_n,y_n)}，其中造價(jià)數(shù)據(jù)隨時(shí)間不斷更新，當(dāng)給定新的造價(jià)數(shù)據(jù)x_n+1時(shí)，目標(biāo)得到結(jié)算造價(jià)管控指標(biāo)p(y_n+1|x_n+1；D)；

S2：構(gòu)建基于LSTM深度學(xué)習(xí)網(wǎng)絡(luò)的造價(jià)指標(biāo)預(yù)測模型，該預(yù)測模型以非線性方式處理訓(xùn)練樣本數(shù)據(jù)庫；

S3：采用隨機(jī)梯度哈密爾頓蒙特卡洛概率預(yù)測方法，對S2構(gòu)建預(yù)測模型預(yù)測的結(jié)果進(jìn)行采樣，用期望值作為概率的預(yù)測值；

S3中，當(dāng)對S2中基于LSTM深度學(xué)習(xí)網(wǎng)絡(luò)的造價(jià)指標(biāo)預(yù)測模型進(jìn)行訓(xùn)練后，造價(jià)管控樣本數(shù)據(jù)和管控指標(biāo)之間存在隱藏關(guān)系用隱藏變量z來表示，結(jié)算環(huán)節(jié)造價(jià)管控指標(biāo)的概率預(yù)測表示為：

p(y|x)＝∫p(y|x,z)p(z|D)dz (4)

其中：z＝{ω,b}，ω＝[ω¹，...，ω^L]為多層神經(jīng)網(wǎng)絡(luò)各層的權(quán)重向量，b＝[b¹，...，b^L]為多層神經(jīng)網(wǎng)絡(luò)各層的偏置，對應(yīng)網(wǎng)絡(luò)輸出的工程結(jié)算造價(jià)管控指標(biāo)為y＝f_z(x,ω,b)；

隨機(jī)梯度哈密爾頓蒙特卡洛法采樣采用近似分布q(ω,b)，采樣結(jié)果表示如下：

公式(5)表示隨機(jī)梯度哈密爾頓蒙特卡洛法采樣采用的一組權(quán)重和偏置參數(shù)

公式(6)表示采樣的對應(yīng)的輸出y¹,y²,...,y^M；

基于公式(5)(6)得到預(yù)測的電網(wǎng)造價(jià)管控指標(biāo)為：

式中，M為樣本的個(gè)數(shù)，Y^m為采樣的對應(yīng)的輸出；

通過上述步驟S1、步驟S2、步驟S3，實(shí)現(xiàn)了造價(jià)管控指標(biāo)預(yù)測；

S4：采用造價(jià)管控指標(biāo)預(yù)測模型隱含概率分布的近似推斷，最小化隱變量概率分布與真實(shí)分布的差異；

S4中，在造價(jià)管控指標(biāo)預(yù)測模型參數(shù)上加入概率分布來估計(jì)不確定性，具體包括：

設(shè)基于LSTM深度學(xué)習(xí)網(wǎng)絡(luò)的造價(jià)指標(biāo)預(yù)測模型的輸出的最大似然函數(shù)服從高斯分布，其均值與D有關(guān)，由確定訓(xùn)練好的網(wǎng)絡(luò)所決定，方差為

式中，p(y|f_z(x,ω,b))表示在造價(jià)管控指標(biāo)為f_z(x,ω,b)的條件下，輸出y的概率分布，表示輸出y服從數(shù)學(xué)期望為f_z(x,ω,b)方差為的高斯分布；

類似地，設(shè)置權(quán)值w的先驗(yàn)概率分布和偏置b的先驗(yàn)概率分布選為高斯分布，形式為：

式中代表高斯分布，I為單位矩陣；

對于N次獨(dú)立同分布得到其似然函數(shù)為：

式中，f_z(x_n,ω,b)為輸入為x_n時(shí)對應(yīng)的造價(jià)管控指標(biāo)，p(y_n|f_z(x_n,ω,b))為在該條件下，輸出為y_n的條件概率；

采用先驗(yàn)分布的變分貝葉斯近似推斷，尋找一個(gè)簡單的分布q^*(z)來近似條件概率密度p(z|D)，具體包括：

根據(jù)貝葉斯公式可知，隱變量的概率密度p(z|D)表示如下：

式中，p(z)表示隱變量的先驗(yàn)概率，p(D|z)表示在隱變量為z的條件下，樣本為D的概率，p(D)表示樣本D的先驗(yàn)概率；

采用變分推斷來尋找一個(gè)簡單的分布q^*(z)來近似條件概率密度p(z|D)；推斷問題轉(zhuǎn)換為一個(gè)泛函優(yōu)化問題：

式中，KL(q(z)||p(z|D))散度就是相對熵，用于衡量兩個(gè)概率分布q(z)和p(z|D)之間的差異；Ω為候選的概率分布族；

KL散度無法直接優(yōu)化，將對數(shù)邊際似然函數(shù)logp(D)分解：

logp(D)＝ELBO(q,D)+KL(q(z)||p(z|D)) (14)

式中，ELBO(q,D)為對數(shù)似然的一個(gè)證據(jù)下界，證據(jù)指數(shù)據(jù)的概率密度；

因此，轉(zhuǎn)化為下式尋找一個(gè)簡單分布q^*(z)來最大化證據(jù)下界ELBO(q,D)；

式中，argmin(logp(D)-ELBO(q,D))表示logp(D)-ELBO(q,D)取最小值的時(shí)候q的取值，argmaxELBO(q,D)表示ELBO(q,D)取最大值時(shí)，q的取值；

為了求解上式，選擇平均場的方法，設(shè)隱藏變量z間是相互獨(dú)立的，概率密度q(z)可以分解為：

式中，z_m是隱變量的子集；q_m(z_m)為z_m的概率分布；

設(shè)只關(guān)心子集z_j的近似分布為q_j(z_j)，此時(shí)，ELBO(q,D)為：

式中，a為常數(shù)，q_j(z_j)子集z_j的近似分布，logp(D,z)為對數(shù)聯(lián)合概率密度并有：

式中，表示在子集z_j的近似分布下的數(shù)學(xué)期望，logp為對數(shù)聯(lián)合概率密度，z_m是隱變量的子集；

根據(jù)公式(17)，最小化就等價(jià)于最大化公式(15)中的ELBO(q,D)；也即最優(yōu)的q^*_j(z_j)正比于對數(shù)聯(lián)合概率密度logp(D,z)的期望的指數(shù)：

式中，表示在隱變量z_j的權(quán)重參數(shù)ω_j的近似分布下的數(shù)學(xué)期望，∝表示成正比，exp表示以自然常數(shù)e為底的指數(shù)函數(shù)；

其中：期望是根據(jù)q(z_\j)計(jì)算的，選擇合適的q_m(z_m)，1≤m≤M，使得這個(gè)期望具有閉式解；

采用變分后驗(yàn)概率分布的Klqp推理，分析找到p(ω,b|D)的一個(gè)后驗(yàn)概率分布的高斯近似，具體如下：

網(wǎng)絡(luò)中ω，b的一個(gè)后驗(yàn)概率分布滿足：

式中，∝表示成正比，分別表示輸出，權(quán)重，偏置的方差；

采用KLqp變分推論方法來找到p(ω,b|D)的一個(gè)后驗(yàn)概率分布的高斯近似，設(shè)p(ω,b|D)的變分后驗(yàn)概率分布為q(ω,b)；變分后驗(yàn)概率分布分解表達(dá)為：

q(ω,b)＝q(ω)q(b) (21)

找到這個(gè)分布中的因子的重新估計(jì)方程；對于每個(gè)因子，取所有變量上的聯(lián)合概率分布的對數(shù)，然后關(guān)于不在這個(gè)因子中的變量求平均；首先考慮ω，只保留與ω有函數(shù)依賴關(guān)系的項(xiàng)，b的推導(dǎo)過程同ω一致，得：

式中，β為噪聲精度是一個(gè)常數(shù)，a為一個(gè)常數(shù)，Φ為歐拉函數(shù)，為輸入權(quán)重ω偏置b時(shí)對應(yīng)的隱變量，方差為時(shí)的數(shù)學(xué)期望；

由于公式(22)為二次型，因此q^*(ω)為一個(gè)高斯分布；采用配平方法，得到均值和協(xié)方差，則變分后驗(yàn)概率分布為：

q^*(ω)＝N(ω|M_N,S_N) (23)；

其中：N(ω|M_N,S_N)表示均值為M_N協(xié)方差為S_N的高斯分布；

M_N＝βS_NΦ^Ty

式中，β為噪聲精度是一個(gè)常數(shù)，Φ為歐拉函數(shù)；

最優(yōu)的q^*(ω,b)能夠被用來近似后驗(yàn)概率分布，當(dāng)給定一個(gè)新的輸入時(shí)，新造價(jià)管控指標(biāo)的概率為：

式中，表示對于N次獨(dú)立同分布的觀測，其中對應(yīng)的隱變量，p(ω,b|D)表示樣本為D對應(yīng)的權(quán)重和偏置的概率分布，q^*(ω,b)為上文中求得的近似后驗(yàn)概率分布。

2.根據(jù)權(quán)利要求1所述基于變分貝葉斯深度學(xué)習(xí)的電網(wǎng)工程造價(jià)管控指標(biāo)預(yù)測方法，其特征在于：S2中，基于LSTM深度學(xué)習(xí)網(wǎng)絡(luò)的造價(jià)指標(biāo)預(yù)測模型包括輸人門i^(t)、遺忘門f^(t)、輸出門o^(t)；輸人門i^(t)控制當(dāng)前時(shí)刻的候選狀態(tài)有多少信息需要保存，遺忘門f^(t)控制上一個(gè)時(shí)刻的內(nèi)部狀態(tài)c^(t-1)需要遺忘多少信息，輸出門o^(t)控制當(dāng)前時(shí)刻的內(nèi)部狀態(tài)c^(t)有多少信息需要輸出給外部狀態(tài)，其控制信息傳遞的路徑計(jì)算方式為：

i^(t)＝σ(W⁽ⁱ⁾x^(t)+U⁽ⁱ⁾h^(t-1)+b⁽ⁱ⁾) (1)

f^(t)＝σ(W^(f)x^(t)+U^(f)h^(t-1)+b^(f)) (2)

o^(t)＝σ(W^(o)x^(t)+U^(o)h^(t-1)+b^(o)) (3)

式中：σ(·)為sigmoid函數(shù)，其輸出區(qū)間為(0,1)，x^(t)為當(dāng)前時(shí)刻的輸入，h^(t-1)為上一時(shí)刻的外部狀態(tài)，即t-1時(shí)刻隱含層狀態(tài)；W⁽ⁱ⁾、W^(f)、W^(o)分別是輸入門、遺忘門、輸出門對應(yīng)輸入的權(quán)重；U⁽ⁱ⁾、U^(f)、U^(o)分別是輸入門、遺忘門、輸出門對應(yīng)上一時(shí)刻的外部狀態(tài)的權(quán)重；b⁽ⁱ⁾、b^(f)、b^(o)分別是輸入門、遺忘門、輸出門對應(yīng)的偏差。