[發明專利]基于導數求和的數據清洗方法(DSSCAN)

在審

• 申請號: 201711312665.6
• 申請日: 2017-12-08
• 公開（公告）號: CN108021684A
• 公開（公告）日: 2018-05-11
• 發明（設計）人: 田慧欣;歐陽北平
• 申請（專利權）人: 天津工業大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明是一種基于導數求和的數據清洗方法(DSSCAN)，目的是將數據中故障或停機時的數據清洗掉。其特征在于包括下列步驟：(1)將數據中所有相鄰數據相減，此步驟可以看作對數據進行求導，得到導數矩陣。(2)將導數矩陣每x個組成一組，將一組中的所有導數求和。(3)將導數之和遠大于0的組記為上拐點，遠小于0的組記為下拐點。(4)若兩個相鄰組同為上拐點或下拐點，則兩個上拐點只保留后一個，兩個下拐點只保留前一個。(5)若該組數據一開始或最后是故障或停機點，則將第一個數記為下拐點或最后一個數記為上拐點。(6)將相同序號的下拐點和上拐點之間的數據清除。

技術領域

本發明——基于導數求和的數據清洗方法(DSSCAN)，是針對復雜工業過程中清洗狀態監測數據中部分機器停機數據的一種方法。

背景技術

隨著人工智能的發展，大數據技術在復雜工業過程中已經得到了廣泛的應用。大數據建模時，對于工業數據的實時監測是很重要的，而在實際生產中，經常因為故障或檢修使機器停機，從而導致各項參數數據會大幅下降，但是這時的數據在建模預測中往往是不需要的，甚至會對預測建模精度產生影響，因此，在數據處理時，我們需要將這一部分的數據清除。在處理這種數據時，倘若采用異常值檢測的方法來處理，因為這部分數據大幅下降之后數值就會維持在下降之后的情況，直到機器重新啟動各項參數的數值才會重新回升，那么這一段數據可能不會被當作異常點。針對此情況，可以設定機器正常運轉參數變化范圍，將不在此范圍內的數據當作停機數據清除，但是此方法的范圍難以劃定，且有可能有部分停機數據無法去除。此外，停機時刻和重啟時刻的確定也是一個難點，停機時刻雖然是數據下降的時刻，但在一段下降數據中很難確定哪一點是開始停機點。

針對該問題，本文提出一種基于導數求和的數據清洗方法(DSSCAN)。該方法通過對待測數據求導(即讓相鄰的兩個點相減)，再將求得的導數分組并將同組的導數累加，將累加得數與0相差遠的點作為拐點，將兩個相鄰拐點之間的數定為停機數據。此方法可以有效確定停機時刻和重啟時刻，并可以將所有停機數據去除。

發明內容

本文提出了一種基于導數求和的數據清洗方法(DSSCAN)，包含有以下步驟：

1.將數據中所有相鄰數據一一相減，即對數據進行求導，并得到導數矩陣D。

2.對導數矩陣D分組再將同一組的導數累加。將D中每x個數據合為一組數據(x可任意取值，根據清洗效果選取，一般取20～30為宜)，對x個導數累加求和，得到導數求和矩陣DS。若數據原本有N個數據，則導數求和矩陣有N/x個數據。

3.將DS中遠大于0和遠小于0的數記為拐點。比較導數求和矩陣的數值，若導數求和矩陣的數值接近于0，則為正常運行數據，設定一個閾值L(L＞＞0)：

(1)若DS(i)＞L，則將i記入上拐點矩陣G上。(i＝1，2，…，N/x)

(2)若DS(i)＜-L，則將i記入下拐點矩陣G下。(i＝1，2，…，N/x)

4.若多個相鄰組的導數之和均大于L或小于-L，則證明這個上升過程或下降過程的長度超過x，因此：

(1)若DS(i-1)＞L&DS(i)＞L，則只將i記入上拐點矩陣G上(j)。(i＝2，3，…，N/x；設數據中有m個下拐點，即j＝1，2，…，m)

(2)若DS(i-1)＜-L&DS(i)＜-L，則只將i-1記入下拐點矩陣G下(k)。(i＝2，3，…，N/x；設數據中有p個下拐點，即k＝1，2，…，p)