[發(fā)明專利]一種用于電力傳感數(shù)據(jù)的清洗方法、裝置和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710790445.8
• 申請(qǐng)日: 2017-09-05
• 公開（公告）號(hào): CN107679089B
• 公開（公告）日: 2021-10-15
• 發(fā)明（設(shè)計(jì)）人: 陳江琦;劉賀;劉衛(wèi)衛(wèi);趙婷;楊訸;黃復(fù)鵬;王曉慧;朱承治
• 申請(qǐng)（專利權(quán)）人: 全球能源互聯(lián)網(wǎng)研究院;國(guó)網(wǎng)浙江省電力公司;國(guó)家電網(wǎng)公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/28;G06F16/17;G06F16/182
• 代理公司: 北京安博達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11271
• 代理人: 徐國(guó)文

1.一種用于電力傳感數(shù)據(jù)的清洗方法，其特征在于，包括：

采用K-Means聚類法將電力傳感數(shù)據(jù)中的結(jié)構(gòu)化數(shù)據(jù)聚類為多個(gè)分區(qū)；

對(duì)每個(gè)分區(qū)中的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行檢測(cè)；

對(duì)檢測(cè)得到的異常數(shù)據(jù)進(jìn)行修復(fù)；

所述采用K-Means聚類將電力傳感數(shù)據(jù)中的結(jié)構(gòu)化數(shù)據(jù)聚類為多個(gè)分區(qū)，包括：

按下式計(jì)算類內(nèi)平均距離：

其中，K表示簇的數(shù)量，MIA(K)表示簇?cái)?shù)量為K時(shí)的類內(nèi)平均距離，d_k表示第k個(gè)簇中樣本點(diǎn)到簇中心的平均距離，且其中表示C_k中的第n個(gè)元素，C_k表示第k個(gè)簇，n_k表示C_k中的元素?cái)?shù)，x_k表示C_k的簇中心；

選擇滿足MIA(K)-MIA(K+1)＞c的最大K值作為最優(yōu)簇?cái)?shù)量，其中MIA(K+1)表示簇?cái)?shù)量為K+1時(shí)的類內(nèi)平均距離，c表示簇?cái)?shù)量閾值；

對(duì)最優(yōu)簇?cái)?shù)量對(duì)應(yīng)的K-Means聚類的聚類結(jié)果再進(jìn)行聚類。

2.根據(jù)權(quán)利要求1所述的用于電力傳感數(shù)據(jù)的清洗方法，其特征在于，所述對(duì)每個(gè)分區(qū)中的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行檢測(cè)，包括：

判斷每個(gè)分區(qū)中結(jié)構(gòu)化數(shù)據(jù)的數(shù)值是否大于相應(yīng)分區(qū)的數(shù)據(jù)上限或小于相應(yīng)分區(qū)的數(shù)據(jù)下限，若是，該結(jié)構(gòu)化數(shù)據(jù)為異常數(shù)據(jù)，否則結(jié)構(gòu)化數(shù)據(jù)為正常數(shù)據(jù)。

3.根據(jù)權(quán)利要求1或2所述的用于電力傳感數(shù)據(jù)的清洗方法，其特征在于，所述對(duì)檢測(cè)得到的異常數(shù)據(jù)進(jìn)行修復(fù)，包括：

采用平均值修復(fù)法、中值修復(fù)法或模式值修復(fù)法對(duì)檢測(cè)得到的異常數(shù)據(jù)進(jìn)行修復(fù)。

4.一種用于電力傳感數(shù)據(jù)的清洗裝置，其特征在于，包括：

聚類模塊，用于采用K-Means聚類法將電力傳感數(shù)據(jù)中的結(jié)構(gòu)化數(shù)據(jù)聚類為多個(gè)分區(qū)；

檢測(cè)模塊，用于對(duì)每個(gè)分區(qū)中的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行檢測(cè)；

修復(fù)模塊，用于對(duì)檢測(cè)得到的異常數(shù)據(jù)進(jìn)行修復(fù)；

所述聚類模塊具體用于：

按下式計(jì)算類內(nèi)平均距離：

其中，K表示簇的數(shù)量，MIA(K)表示簇?cái)?shù)量為K時(shí)的類內(nèi)平均距離，d_k表示第k個(gè)簇中樣本點(diǎn)到簇中心的平均距離，且其中表示C_k中的第n個(gè)元素，C_k表示第k個(gè)簇，_k表示C_k中的元素?cái)?shù)，x_k表示C_k的簇中心；

選擇滿足MIA(K)-MIA(K+1)＞c的最大K值作為最優(yōu)簇?cái)?shù)量，其中MIA(K+1)表示簇?cái)?shù)量為K+1時(shí)的類內(nèi)平均距離，c表示簇?cái)?shù)量閾值；

對(duì)最優(yōu)簇?cái)?shù)量對(duì)應(yīng)的K-Means聚類的聚類結(jié)果再進(jìn)行聚類。

5.根據(jù)權(quán)利要求4所述的用于電力傳感數(shù)據(jù)的清洗裝置，其特征在于，所述檢測(cè)模塊具體用于：

判斷每個(gè)分區(qū)中結(jié)構(gòu)化數(shù)據(jù)的數(shù)值是否大于相應(yīng)分區(qū)的數(shù)據(jù)上限或小于相應(yīng)分區(qū)的數(shù)據(jù)下限，若是，該結(jié)構(gòu)化數(shù)據(jù)為異常數(shù)據(jù)，否則結(jié)構(gòu)化數(shù)據(jù)為正常數(shù)據(jù)。

6.根據(jù)權(quán)利要求5所述的用于電力傳感數(shù)據(jù)的清洗裝置，其特征在于，所述修復(fù)模塊具體用于：

采用平均值修復(fù)法、中值修復(fù)法或模式值修復(fù)法對(duì)檢測(cè)得到的異常數(shù)據(jù)進(jìn)行修復(fù)。

7.一種用于電力傳感數(shù)據(jù)的清洗系統(tǒng)，其特征在于，包括：

如權(quán)利要求4-6任一所述的清洗裝置；

采集裝置，用于將采集的電力傳感數(shù)據(jù)中的結(jié)構(gòu)化數(shù)據(jù)傳輸給清洗裝置，并接收來自于清洗裝置的清洗結(jié)果；

存儲(chǔ)裝置，用于存儲(chǔ)采集裝置采集的電力傳感數(shù)據(jù)和清洗裝置下發(fā)的清洗結(jié)果。

8.根據(jù)權(quán)利要求7所述的用于電力傳感數(shù)據(jù)的清洗系統(tǒng)，其特征在于，所述電力傳感數(shù)據(jù)還包括非結(jié)構(gòu)化數(shù)據(jù)。