[發明專利]一種基于聚類分析的3MAD-MMMD過失誤差偵破方法

在審

• 申請號: 201410294117.5
• 申請日: 2014-06-27
• 公開（公告）號: CN104050277A
• 公開（公告）日: 2014-09-17
• 發明（設計）人: 肖冬;包晶晶;高旭陽
• 申請（專利權）人: 東北大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及了一種基于聚類分析的3MAD-MMMD過失誤差偵破方法，精度高，可靠性好，經濟實用。?

背景技術

目前，我國工業企業的產品質量檢測工作大部分依賴定時、離線地采樣分析。生產操作幾乎是完全依靠經驗和感官知覺，從而造成產品質量不穩定，收益較低。軟測量技術被認為是解決這一問題的卓有成效的方法。軟測量技術的核心在于建立工業對象的模型，而初始模型是對過程變量的歷史數據進行辨識而來的。因此建模所需數據精確與否，在很大程度上決定了軟測量建模模型的有效性和準確性。因此，為了保障模型的精度，在建立軟測量模型之前，通過某種方法，將真實信號從受誤差影響的混合信號中分離出來。這個過程被稱之為過失誤差偵破.?在實際工業過程中，數據采集過程無法精確到足以發現所有誤差。其中，誤差分為兩種：隨機誤差和過失誤差。通常，隨機誤差對建模的影響較小且不能避免，只能盡量減小；而過失誤差往往對軟測量建模的影響很大，需要我們予以剔除。引起過失誤差的原因主要有：儀器的零點漂移，儀器操作故障，操作不穩定等。過失誤差會對建模帶來嚴重的干擾，因此在建立軟測量模型之前，需要將過失誤差數據從模型數據中偵測并且分離出來，這對成功建立精確的軟測量模型不可或缺。?

發明內容

本發明的目的，是提供一種有效的過失誤差偵破方法，能夠剔除用于建模的數據集中的過失誤差數據，從而提高數據精度，保證軟測量建模的準確性和可靠性.?

針對嚴重影響數據品質的過失誤差，本發明提出了基于聚類分析的3MAD-MMMD過失誤差偵破方法。該方法在原有的MMMD方法的基礎上加入3MAD單變量偵破方法，既能有效剔除多變量的過失數據，又能在此之前進行單變量偵破，從而使MMMD偵破效果免受單變量大誤差的影響。實驗表明，基于聚類分析的3MAD-MMMD過失誤差偵破方法比單一的3MAD方法和傳統的MMMD方法具有更高的偵破精度，為軟測量建模提供更加準確可靠的數據信息.

1、3MAD方法介紹：

在數據集x中，滿足下式的x(i)為發生過失誤差的數據點.

式中，x（i）——數據集中的數據點

??????x_median——數據的中位數

??????median——求取數據的中位值

方法中，數據集x服從正態分布時，S_MAD是標準差的無偏估計。當大誤差存在時，x_median相比于平均值更能反映數據的中心位置.

2、MMMD方法介紹：

基于平均最小距離的聚類算法是一種行之有效的過失誤差偵破方法。該方法根據相似性的度量方法，把原始數據聚類成不同的數據類，這樣就能方便地把異類點和主體數據分開，從而實現過失誤差偵破。MMMD方法將數據集中的數據均考慮進來，使用數據集中的數據與其臨近點的距離的中位值作為準則.

在d維空間中，給定具有N個數據對象的集合，X₁，X₂，_。。。，X_N，X_i=（x_i1，x_i2，_。。。，x_id）。數據集中每個數據點距離其臨近點距離用x_di表示：

x_id——任意兩個數據點間的距離

x_ik、x_jk——不同數據集中的任意兩個數據

各數據點到其最近點的距離用d_i來表示，距離的中位值用MMMD來表示。若d_i>2MMMD，則視為過失誤差數據；若d_i<2MMMD，則視為正常數據。本文將此聚類算法稱為MMMD算法.

3、3MAD-MMMD過失誤差偵破方法

（1）具體步驟：

????假設軟測量建模原始數據矩陣為X(nxm)，n代表測量采樣次數，m代表測量變量個數。　

首先采用3MAD方法，利用主元分析式對X的每一列進行單變量的過失誤差偵破，只要有一個變量在t時刻發生了過失誤差，就把t時刻的數據從建模樣本中剔除，即?x_ij?的第i個元素超出了誤差邊界，將其整行剔除掉，最后得X'(n1×m)。