[發明專利]一種基于ELM-SL0神經網絡的出水NH4-N軟測量方法

在審

• 申請號: 201911030774.8
• 申請日: 2019-10-28
• 公開（公告）號: CN110837886A
• 公開（公告）日: 2020-02-25
• 發明（設計）人: 楊翠麗;聶凱哲;喬俊飛;武戰紅
• 申請（專利權）人: 北京工業大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06Q50/26
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

1.一種基于ELM-SL0神經網絡的出水NH4-N軟測量方法，其特征在于，包括以下步驟：

步驟1：初始化網絡結構及參數

步驟1.1：初始化網絡結構

將溫度、溶氧量、總懸浮物含量、pH值以及出水氧化還原電位作為輸入變量，氨氮濃度作為輸出變量，確定回聲狀態網絡結構為5-N-1，其中N表示儲備池節點個數；典型回聲狀態網絡的儲備池節點個數N取值為50≤N≤1000；

步驟1.2：初始化網絡參數

將sigmoid函數作為網絡激活函數G(·)，確定初始迭代次數i＝0，最大迭代次數i_max≥5000，訓練樣本u_k表示第k組輸入樣本，t_k表示第k組實際輸出值，表示輸入樣本維度為n，L為樣本總數；隨機初始化網絡輸入權值W和閾值向量b在(0,1)之間，設置初始輸出權值W＝0；

步驟2：采用網格搜索法確定學習率η及正則化參數λ

(1)首先，將正則化參數置0，即λ＝0，然后以0.0005步長將學習率的搜索范圍設定為[0.0005,0.01]，運行程序，選取訓練誤差最小的最優學習率η；

(2)在最優學習率η情況下，以0.0025步長將正則化參數的搜索范圍設定為[0.0025,0.05]，保證不影響訓練誤差情況下選取稀疏效果最佳的最優正則化參數λ；

步驟3：計算輸入第k組樣本的網絡輸出y_k及預測誤差d_k

對于給定的激活函數G(·)、輸入樣本u_k、輸入權值W以及閾值向量b，得到隱含層輸出為：

其中，g_j,1＜j＜N表示儲備池第j個神經元的激活函數，W_j·u_k,1＜j＜N表示儲備池第j個神經元與輸入層之間的輸入權值向量W_j與輸入向量u_k的內積，b_j,1＜j＜N表示儲備池中第j個神經元的閾值；

輸入第k組樣本，網絡輸出y_k由如下公式得到：

y_k＝W·G(Wu_k+b) (2)

網絡期望輸出t_k與實際輸出y_k之間的訓練誤差d_k定義為：

d_k＝t_k-y_k (3)

步驟4：計算輸出權值梯度，更新輸出權值

定義標準均方誤差函數為：

其中，

在誤差函數上添加L0正則化項，改進的誤差函數為：

其中，為W的L0范數，被定義如下：

其中，W_j,1＜j＜N是第j個輸出權值；

然而，L0范數是非凸函數，因此公式(5)是一個NP-hard極小化組合問題；采用一個連續可微的函數f(·)對L0范數進行逼近，關于W的函數f(γ,W_j)被定義如下：

其中，γ為正數，γ取0.05；由此得到，f(γ,W_j)的一階導數為：

因此公式(5)更新為：

引入批量梯度下降算法，在初始權值W＝W⁰的情況下，E(W)的梯度公式為：

其中，為第i次E(W)的梯度，為第i次的梯度；

由此得到，輸出權值的更新公式為：

其中，Wⁱ⁺¹為第i+1次迭代的輸出權值，Wⁱ為第i次迭代的輸出權值；輸出權值每更新一次，i累加1，即i＝i+1；

步驟5：判斷訓練是否結束

若滿足i≥i_max，則執行步驟6，否則返回步驟3；

步驟6：測試網絡

利用以上步驟得到的輸出權值W，輸入測試樣本，對網絡進行測試。