[發(fā)明專利]基于單分類支持向量機(jī)模型發(fā)現(xiàn)環(huán)境監(jiān)測異常數(shù)據(jù)的算法

在審

• 申請?zhí)枺?/td>: 202011509198.8
• 申請日: 2020-12-18
• 公開（公告）號: CN112613233A
• 公開（公告）日: 2021-04-06
• 發(fā)明（設(shè)計(jì)）人: 楊婧;付強(qiáng);柳媛;姚雅偉;米方卓;吳曉鳳;柴文軒;楊楠;王光;朱余;羅財(cái)紅
• 申請（專利權(quán)）人: 中國環(huán)境監(jiān)測總站
• 主分類號: G06F30/27
• 分類號: G06F30/27
• 代理公司: 杭州中利知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 33301
• 代理人: 李光

本發(fā)明公開了一種基于單分類支持向量機(jī)模型發(fā)現(xiàn)環(huán)境監(jiān)測異常數(shù)據(jù)的算法，通過訓(xùn)練集樣本完成一個單分類支持向量機(jī)模型的建立；并在根據(jù)模型確定的邊界定義正常值和離群點(diǎn)對應(yīng)的參數(shù)，完成模型邊界劃定；完成單分類支持向量機(jī)模型構(gòu)建。當(dāng)模型訓(xùn)練好后，將未知數(shù)據(jù)值作為測試集新加入到已有模型中；以輸入數(shù)據(jù)點(diǎn)是否在邊界內(nèi)判斷該數(shù)據(jù)點(diǎn)是否為離群異常點(diǎn)得到結(jié)論。該算法可通過已知環(huán)境監(jiān)測數(shù)據(jù)構(gòu)建特征空間的正常樣本邊界，并利用已有數(shù)據(jù)構(gòu)建的模型對新加入數(shù)據(jù)點(diǎn)進(jìn)行異常值探測和篩選，以達(dá)到對環(huán)境監(jiān)測數(shù)據(jù)進(jìn)行質(zhì)量管理的目的。該算法可實(shí)現(xiàn)環(huán)境監(jiān)測數(shù)據(jù)的動態(tài)建模，并通過模型確定訓(xùn)練數(shù)據(jù)中的離群點(diǎn)，發(fā)現(xiàn)環(huán)境監(jiān)測數(shù)據(jù)中存在的異常數(shù)據(jù)。

【技術(shù)領(lǐng)域】

本發(fā)明涉及環(huán)境監(jiān)測技術(shù)領(lǐng)域，特別是一種基于單分類支持向量機(jī)模型發(fā)現(xiàn)環(huán)境監(jiān)測異常數(shù)據(jù)的算法。

【背景技術(shù)】

我國多樣的環(huán)境條件和人文因素導(dǎo)致了各地環(huán)境數(shù)據(jù)的時間軸和空間軸向的多樣性。近幾年，隨著相關(guān)環(huán)境政策的提出和我國環(huán)境問題的日益嚴(yán)峻，高質(zhì)量的環(huán)境監(jiān)測數(shù)據(jù)是進(jìn)行環(huán)境研究的保障。由于存在儀器設(shè)備、數(shù)據(jù)傳輸和人工操作等多種不確定因素，導(dǎo)致海量的數(shù)據(jù)中存在少量的數(shù)據(jù)異常。然而由于環(huán)境監(jiān)測網(wǎng)絡(luò)數(shù)據(jù)獲取的數(shù)據(jù)量大涉及指標(biāo)廣泛，環(huán)境監(jiān)測數(shù)據(jù)量從原來的兆字節(jié)/天增大到太字節(jié)/天，這些數(shù)據(jù)異常很難通過人工篩選來發(fā)現(xiàn)和刪除。這些異常點(diǎn)若不加審核就直接發(fā)布，將極大的影響數(shù)據(jù)質(zhì)量，使得下游分析出現(xiàn)偏差。這些準(zhǔn)確性不夠的數(shù)據(jù)對后續(xù)的科學(xué)研究和政策制定將產(chǎn)生消極的影響。傳統(tǒng)的方式是通過環(huán)境對監(jiān)測設(shè)備日常維護(hù)和手工校準(zhǔn)，以及人工平行樣比對和數(shù)據(jù)人工審核等方法確保數(shù)據(jù)質(zhì)量。這樣的方法無法全面的考慮本地實(shí)際情況，并根據(jù)歷史數(shù)據(jù)調(diào)整模型。進(jìn)一步，當(dāng)前可用的處理模型由于無法實(shí)時更新，其滯后性導(dǎo)致對異常數(shù)據(jù)判斷不夠靈敏，可能會引入更多的誤差，現(xiàn)提出一種基于單分類支持向量機(jī)模型發(fā)現(xiàn)環(huán)境監(jiān)測異常數(shù)據(jù)的算法。

【發(fā)明內(nèi)容】

本發(fā)明的目的就是解決現(xiàn)有技術(shù)中的問題，提出一種基于單分類支持向量機(jī)模型發(fā)現(xiàn)環(huán)境監(jiān)測異常數(shù)據(jù)的算法，可以對歷史環(huán)境監(jiān)測數(shù)據(jù)進(jìn)行綜合建模，不斷更新升級模型以匹配地域的特異性，并對新產(chǎn)生數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，從海量的數(shù)據(jù)中篩查異常點(diǎn)。在能夠保證異常數(shù)據(jù)發(fā)現(xiàn)的靈敏度和準(zhǔn)確性的同時，減少人工需求，加強(qiáng)模型使用的適應(yīng)性。

為實(shí)現(xiàn)上述目的，本發(fā)明提出了一種基于單分類支持向量機(jī)模型發(fā)現(xiàn)環(huán)境監(jiān)測異常數(shù)據(jù)的算法，具體包括以下步驟：

步驟S1.初始化建模數(shù)據(jù)點(diǎn)：獲取一定時間內(nèi)每個時間點(diǎn)的當(dāng)前站點(diǎn)的監(jiān)測數(shù)據(jù)T_i及若干新的站點(diǎn)監(jiān)測數(shù)據(jù)R_j，其中i，j為正整數(shù)；

步驟S2.設(shè)定參數(shù)：設(shè)定核函數(shù)k，異常點(diǎn)比例r和誤差閾值tol參數(shù)；

步驟S3.模型訓(xùn)練：根據(jù)所設(shè)定參數(shù)規(guī)劃出數(shù)據(jù)點(diǎn)T_i在特征空間中形成樣本空間；將當(dāng)前站點(diǎn)的監(jiān)測數(shù)據(jù)T_i投入模型框架，迭代至模型與訓(xùn)練數(shù)據(jù)間誤差小于設(shè)定誤差閾值tol，確定模型相關(guān)參數(shù)；

在模型的訓(xùn)練過程中，訓(xùn)練目的是期望最后的模型對于輸入樣本而言，在異常點(diǎn)比例滿足設(shè)定異常點(diǎn)比例r的同時，誤差e小于等于設(shè)定誤差閾值tol，即e≤tol；

步驟S4.確定參數(shù)及對應(yīng)樣本空間：重復(fù)步驟S3，直到模型滿足步驟S3中訓(xùn)練目的，確定對應(yīng)的樣本空間和邊界；根據(jù)所確定參數(shù)規(guī)劃出數(shù)據(jù)點(diǎn)T_i在特征空間中形成樣本空間，以及該空間對應(yīng)的范圍數(shù)據(jù)；

步驟S5.模型運(yùn)用：輸入新的站點(diǎn)監(jiān)測數(shù)據(jù)點(diǎn)R_j

步驟S6.判斷離群點(diǎn)：判斷新的站點(diǎn)監(jiān)測數(shù)據(jù)R_j中超出模型邊界點(diǎn)為異常值R_out，在模型邊界中的點(diǎn)為正常值R_in；

步驟S7.動態(tài)調(diào)整：利用模型邊界內(nèi)的新加入正常值R_in和原有監(jiān)測數(shù)據(jù)T_i，重復(fù)步驟S2至步驟S4，優(yōu)化構(gòu)建下一代模型。