[發(fā)明專利]一種基于改進粒子群算法的SVR三參數(shù)尋優(yōu)方法

在審

• 申請?zhí)枺?/td>: 202010927500.5
• 申請日: 2020-09-07
• 公開（公告）號: CN112115990A
• 公開（公告）日: 2020-12-22
• 發(fā)明（設計）人: 何鴻天;李先允;倪喜軍;王書征;張效言
• 申請（專利權）人: 南京工程學院
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/00
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 董建林

本發(fā)明公開了SVR擬合器參數(shù)優(yōu)化技術領域的一種基于改進粒子群算法的SVR三參數(shù)尋優(yōu)方法，旨在解決現(xiàn)有技術中SVR擬合器綜合性能低，泛化能力差的問題，包括對采集的樣本數(shù)據(jù)進行5重交叉驗證實驗，選擇對擬合器性能影響較大的參數(shù)作為待優(yōu)化參數(shù)；初始化擬合器和粒子群算法的相關參數(shù)，根據(jù)所述相關參數(shù)更新粒子速度和位置；將選定的待優(yōu)化參數(shù)設置為粒子當前位置的相應維度值，并根據(jù)5重交叉驗證實驗得到的從平均絕對誤差(MAE)，均方誤差(MSE)和相關系數(shù)(R²)，計算得到粒子當前位置對應的適應度值；根據(jù)粒子當前位置進行適應性變異，更新個體最優(yōu)位置和種群最優(yōu)位置；若函數(shù)收斂，則結束尋優(yōu)，輸出最優(yōu)參數(shù)的組合，否則繼續(xù)迭代尋優(yōu)。

技術領域

本發(fā)明屬于SVR(支持向量回歸算法)擬合器參數(shù)優(yōu)化技術領域，具體涉及一種基于改進粒子群算法的SVR三參數(shù)尋優(yōu)方法。

背景技術

SVR模型的復雜度、泛化能力取決于ε、c、γ這三個參數(shù)，特別是它們之間的相互影響關系。不敏感損失系數(shù)ε控制著回歸函數(shù)對樣本數(shù)據(jù)的不敏感區(qū)域的寬度，影響支持向量的數(shù)目，其值和樣本噪聲有密切關系。ε過大，支持向量數(shù)就少，可能導致模型過于簡單，學習精度不夠；ε過小，回歸精度較高，但可能導致模型過于復雜，得不到好的推廣能力。懲罰系數(shù)C反映了算法對超出ε管道的樣本數(shù)據(jù)的懲罰程度，其值影響模型的復雜性和穩(wěn)定性。C過小，對超出ε管道的樣本數(shù)據(jù)懲罰就小，訓練誤差變大；C過大，學習精度相應提高，但模型的泛化能力變差。另外，C的值影響到對樣本中“離群點”(噪聲影響下非正常數(shù)據(jù)點)的處理，選取合適的C就能在一定程度上抗干擾，從而保證模型的穩(wěn)定性。由此可見：若能選取到合適的(C、ε)對，就能得到比較精確、穩(wěn)定的回歸模型。寬度系數(shù)γ反映了支持向量之間的相關程度。γ很小，支持向量間的聯(lián)系比較松弛，學習機器相對復雜，推廣能力得不到保證；γ太大，支持向量間的影響過強，回歸模型難以達到足夠的精度。在SVR中，當γ很小時，懲罰系數(shù)C可相應取得小些，以保證模型的推廣能力。所以，在參數(shù)選擇時對每一個參數(shù)分別進行優(yōu)化選取不太合理，也非常費時，導致SVR擬合器綜合性能低，泛化能力差。

發(fā)明內容

本發(fā)明的目的在于提供一種基于改進粒子群算法的SVR三參數(shù)尋優(yōu)方法，以解決現(xiàn)有技術中SVR擬合器綜合性能低，泛化能力差的問題。

為達到上述目的，本發(fā)明所采用的技術方案是：一種基于改進粒子群算法的SVR三參數(shù)尋優(yōu)方法，利用改進PSO-SVR算法優(yōu)化擬合器相關參數(shù)，包括以下步驟：a、對采集的樣本數(shù)據(jù)進行5重交叉驗證實驗，從平均絕對誤差(MAE)，均方誤差(MSE)和相關系數(shù)(R²)三個指標對比各個參數(shù)對擬合器性能的影響，選擇對擬合器性能影響較大的參數(shù)作為待優(yōu)化參數(shù)；b、初始化擬合器和粒子群算法的相關參數(shù)，根據(jù)所述相關參數(shù)更新粒子速度和位置；c、將步驟a中選定的待優(yōu)化參數(shù)設置為粒子當前位置的相應維度值，并根據(jù)所述5重交叉驗證實驗得到的從平均絕對誤差(MAE)，均方誤差(MSE)和相關系數(shù)(R²)，計算得到粒子當前位置對應的適應度值；d、根據(jù)所述粒子當前位置進行適應性變異，更新個體最優(yōu)位置和種群最優(yōu)位置；e、若函數(shù)收斂，則結束尋優(yōu)，輸出最優(yōu)參數(shù)的組合，否則返回步驟b繼續(xù)迭代尋優(yōu)。

進一步地，在所述步驟a中，待優(yōu)化參數(shù)包括：懲罰系數(shù)C，寬度系數(shù)γ和不敏感系數(shù)ε。

進一步地，在所述步驟b中，擬合器和粒子群算法的相關參數(shù)包括：SVR(支持向量回歸算法)樣本集、粒子群種群個數(shù)、第i個粒子的初始位置(C,γ,ε)、第i個粒子的初始速度v_i、初始慣性權重ω、最大迭代次數(shù)n、第i個粒子的個體最優(yōu)位置p_ibest，種群最優(yōu)位置p_gbest以及第一適應性變異系數(shù)t為(0,1)之間隨機值，第二適應性變異系數(shù)k為(0，3)之間的隨機值。

進一步地，在所述步驟b中，根據(jù)所述相關參數(shù)更新粒子速度和位置具體方法為：粒子速度更新公式是：