[發(fā)明專利]基于分布并行局部優(yōu)化參數(shù)的最小二乘支持向量機(jī)軟測量方法

有效

• 申請?zhí)枺?/td>: 201810190851.5
• 申請日: 2018-03-08
• 公開（公告）號: CN108388745B
• 公開（公告）日: 2020-05-22
• 發(fā)明（設(shè)計）人: 葛志強(qiáng);張鑫宇
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: G06F30/20
• 分類號: G06F30/20;G06N3/12;G06N7/00;G06N20/10
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 邱啟旺

本發(fā)明公開一種基于分布并行局部優(yōu)化參數(shù)的最小二乘支持向量機(jī)軟測量方法，首先要對最小二乘支持向量機(jī)進(jìn)行建模，獲得局部優(yōu)化后的最小二乘支持向量機(jī)模型，然后將訓(xùn)練集中樣本平均分塊，為每塊中的樣本標(biāo)記數(shù)據(jù)塊標(biāo)簽，并將具有相同標(biāo)簽的訓(xùn)練樣本歸為一個數(shù)據(jù)塊中，然后在多臺計算機(jī)上使用局部優(yōu)化后的LSSVM分布并行地對每個數(shù)據(jù)塊中的訓(xùn)練數(shù)據(jù)進(jìn)行建模和對測試集數(shù)據(jù)進(jìn)行預(yù)測，將多個數(shù)據(jù)塊的預(yù)測結(jié)果取均值作為最終的預(yù)測結(jié)果。該方法在既保證了訓(xùn)練樣本劃分的隨機(jī)性，又保證了預(yù)測精度，同時又在每個數(shù)據(jù)塊中并行地進(jìn)行建模和對測試集進(jìn)行預(yù)測，大大減小了計算開銷，使基于局部優(yōu)化參數(shù)的LSSVM軟測量算法同樣能夠在大規(guī)模數(shù)據(jù)集上得以應(yīng)用。

技術(shù)領(lǐng)域

本發(fā)明屬于工業(yè)過程預(yù)測與控制領(lǐng)域，具體涉及一種基于分布并行局部優(yōu)化參數(shù)的最小二乘支持向量機(jī)軟測量方法。

背景技術(shù)

軟測量建模技術(shù)即為在實際的工業(yè)生產(chǎn)過程中，一些過程變量和質(zhì)量變量難以使用傳感器進(jìn)行直接測量或者測量成本過高，因此人們往往會利用較為容易測量的一些過程變量，通過建立數(shù)學(xué)模型的方法來估計那些難以測量的過程或質(zhì)量變量，進(jìn)而能夠很好地控制產(chǎn)品質(zhì)量，提高生產(chǎn)效率。

在常用的軟測量數(shù)學(xué)模型中，最小二乘支持向量機(jī)模型(以下簡稱為LSSVM)以其使用訓(xùn)練樣本小，求解簡單，運(yùn)算速度快等優(yōu)點被廣泛地用于各類工業(yè)過程變量的軟測量。但該模型本身仍具有較大的缺陷，其模型中的核函數(shù)參數(shù)和懲罰因子往往需要人為進(jìn)行設(shè)定，而這兩個參數(shù)會直接影響模型的訓(xùn)練效果，若選擇不當(dāng)則會造成較大的預(yù)測偏差。

為了解決這個問題，常用的方法即為對LSSVM模型參數(shù)進(jìn)行優(yōu)化，同時參數(shù)優(yōu)化又可分為基于整個訓(xùn)練集作為目標(biāo)集的“全局”參數(shù)優(yōu)化和由測試樣本距離最近的訓(xùn)練樣本作為目標(biāo)集的“局部”參數(shù)優(yōu)化，但不論從計算量還是優(yōu)化效果角度，局部優(yōu)化以其對測試集具有的適應(yīng)能力而更有優(yōu)勢。

但基于參數(shù)優(yōu)化的LSSVM算法均具計算速度較慢的缺陷，即在利用LSSVM進(jìn)行建模之前需要利用智能優(yōu)化算法對多種模型參數(shù)進(jìn)行LSSVM建模，因此當(dāng)訓(xùn)練樣本集過多以及種群大小、迭代次數(shù)過大時會產(chǎn)生十分巨大的計算開銷，而目前用于工業(yè)軟測量的數(shù)據(jù)日趨龐大，逐漸形成工業(yè)大數(shù)據(jù)問題，因此傳統(tǒng)基于參數(shù)優(yōu)化的LSSVM算法必須進(jìn)行改進(jìn)。

而隨著目前云計算技術(shù)的不斷發(fā)展，如Hadoop，Spark等分布式計算框架的逐漸普及，對于計算量大，計算復(fù)雜度高的問題可以采用分布式并行計算的方法提高其運(yùn)算速度，其中一個核心思想即為將原始規(guī)模較大的問題劃歸為多個小規(guī)模問題，并且這些小規(guī)模問題可以同時地由多臺計算機(jī)一起處理，進(jìn)而提高運(yùn)算速度，因此對于數(shù)據(jù)量過多的基于參數(shù)優(yōu)化的LSSVM算法而言可以采用分布式的思想加以改進(jìn)。

發(fā)明內(nèi)容

針對現(xiàn)有的基于參數(shù)優(yōu)化LSSVM算法的不足，本發(fā)明面向工業(yè)大數(shù)據(jù)，提出了一種基于分布并行局部優(yōu)化參數(shù)的最小二乘支持向量機(jī)軟測量方法，具體如下：

一種基于分布并行局部優(yōu)化參數(shù)的最小二乘支持向量機(jī)軟測量方法，其特征在于，所述的基于局部優(yōu)化參數(shù)的最小二乘支持向量機(jī)的建模過程如下：

(a)將訓(xùn)練樣本集和測試樣本集進(jìn)行歸一化；

(b)在歸一化后的訓(xùn)練樣本集中找到與每個歸一化后的測試樣本歐式距離最近的一個訓(xùn)練樣本，并將這些所找到的訓(xùn)練樣本合并為與測試樣本集相同樣本個數(shù)的局部優(yōu)化目標(biāo)集，同時在訓(xùn)練集中刪除所挑選出的樣本，由剩余的訓(xùn)練樣本組成局部優(yōu)化訓(xùn)練集；

(c)以局部優(yōu)化訓(xùn)練集作為訓(xùn)練，以局部優(yōu)化目標(biāo)集作為測試帶入LSSVM模型中進(jìn)行預(yù)測，并對局部優(yōu)化目標(biāo)集中每個樣本的預(yù)測值與真實值偏差絕對值進(jìn)行求和，并作為目標(biāo)函數(shù)，設(shè)定LSSVM模型懲罰因子γ和徑向基核函數(shù)參數(shù)σ²的取值范圍，并以其作為約束條件；

(d)采用智能優(yōu)化算法對上一步的優(yōu)化問題進(jìn)行求解，返回最優(yōu)LSSVM模型懲罰因子γ和徑向基核函數(shù)參數(shù)σ²；