[發(fā)明專利]基于導(dǎo)數(shù)求和的數(shù)據(jù)清洗方法(DSSCAN)

在審

• 申請?zhí)枺?/td>: 201711312665.6
• 申請日: 2017-12-08
• 公開（公告）號: CN108021684A
• 公開（公告）日: 2018-05-11
• 發(fā)明（設(shè)計）人: 田慧欣;歐陽北平
• 申請（專利權(quán)）人: 天津工業(yè)大學(xué)
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于導(dǎo)數(shù)求和的數(shù)據(jù)清洗方法(DSSCAN)，其特征在于：對數(shù)據(jù)進(jìn)行求導(dǎo)得到導(dǎo)數(shù)矩陣D。將數(shù)據(jù)中所有相鄰數(shù)據(jù)一一相減，即對數(shù)據(jù)進(jìn)行求導(dǎo)，并得到導(dǎo)數(shù)矩陣D。

2.權(quán)利要求1所述的一種基于導(dǎo)數(shù)求和的數(shù)據(jù)清洗方法(DSSCAN)，其特征還在于：對導(dǎo)數(shù)矩陣D分組再將同一組的導(dǎo)數(shù)累加。將D中每x個數(shù)據(jù)合為一組數(shù)據(jù)(x可任意取值，根據(jù)清洗效果選取，一般取20～30為宜)，對x個導(dǎo)數(shù)累加求和，得到導(dǎo)數(shù)求和矩陣DS。若數(shù)據(jù)原本有N個數(shù)據(jù)，則導(dǎo)數(shù)求和矩陣有N/x個數(shù)據(jù)。

3.權(quán)利要求1所述的一種基于導(dǎo)數(shù)求和的數(shù)據(jù)清洗方法(DSSCAN)，其特征還在于：將DS中遠(yuǎn)大于0和遠(yuǎn)小于0的數(shù)記為拐點。比較導(dǎo)數(shù)求和矩陣的數(shù)值，若導(dǎo)數(shù)求和矩陣的數(shù)值接近于0，則為正常運行數(shù)據(jù)，設(shè)定一個閾值L(L＞＞0)：

(1)若DS(i)＞L，則將i記入上拐點矩陣G上。(i＝1，2，…，N/x)

(2)若DS(i)＜-L，則將i記入下拐點矩陣G下。(i＝1，2，…，N/x) 。

4.權(quán)利要求1所述的一種基于導(dǎo)數(shù)求和的數(shù)據(jù)清洗方法(DSSCAN)，其特征還在于：有連續(xù)多個數(shù)據(jù)符合拐點要求時只取其中一個。若多個相鄰組的導(dǎo)數(shù)之和均大于L或小于-L，則證明這個上升過程或下降過程的長度超過x，因此：

(1)若DS(i-1)＞L&DS(i)＞L，則只將i記入上拐點矩陣G上(j)。(i＝2，3，…，N/x；設(shè)數(shù)據(jù)中有m個下拐點，即j＝1，2，…，m)

(2)若DS(i-1)＜-L&DS(i)＜-L，則只將i-1記入下拐點矩陣G下(k)。(i＝2，3，…，N/x；設(shè)數(shù)據(jù)中有p個下拐點，即k＝1，2，…，p) 。

5.權(quán)利要求1所述的一種基于導(dǎo)數(shù)求和的數(shù)據(jù)清洗方法(DSSCAN)，其特征還在于：數(shù)據(jù)兩端是停機點時將兩端也視作拐點。

(1)如果數(shù)據(jù)一開始就是停機數(shù)據(jù)，則會導(dǎo)致上拐點比下拐點多，即m＞p，因此當(dāng)?shù)谝粋€上拐點在第一個下拐點之前出現(xiàn)，即G上(1)＜G下(1)，則將第1組記入下拐點矩陣g下第一個數(shù)。

(2)如果數(shù)據(jù)最后是停機數(shù)據(jù)，則會導(dǎo)致下拐點比上拐點多一個，即m＜p，因此當(dāng)最后一個上拐點在最后一個下拐點之前出現(xiàn)，即G上(m)＜G下(p)，則將第N/x組記入上拐點矩陣G上最后一個數(shù)。

完成以上步驟之后m＝p。

6.權(quán)利要求1所述的一種基于導(dǎo)數(shù)求和的數(shù)據(jù)清洗方法(DSSCAN)，其特征還在于：將相同序號的下拐點與上拐點之間的數(shù)據(jù)清除。將數(shù)據(jù)中xG下(l)-x+1到xG上(l)(l＝1，2，…，m)之間的數(shù)據(jù)清除即可得到去除停機點后的數(shù)據(jù)。