[發(fā)明專(zhuān)利]一種動(dòng)態(tài)測(cè)量數(shù)據(jù)的處理方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202210752869.6
• 申請(qǐng)日: 2022-06-29
• 公開(kāi)（公告）號(hào): CN115017147A
• 公開(kāi)（公告）日: 2022-09-06
• 發(fā)明（設(shè)計(jì)）人: 韓碧彤;解鴻斌;單雨;葛樂(lè)矣;陳明冬;隋佳音;李巖昊
• 申請(qǐng)（專(zhuān)利權(quán)）人: 國(guó)網(wǎng)數(shù)字科技控股有限公司;國(guó)網(wǎng)新能源云技術(shù)有限公司
• 主分類(lèi)號(hào): G06F16/215
• 分類(lèi)號(hào): G06F16/215;G06Q50/06
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 吳磊

本申請(qǐng)公開(kāi)一種動(dòng)態(tài)測(cè)量數(shù)據(jù)的處理方法和裝置，該方法包括：從新能源云數(shù)據(jù)庫(kù)獲取原始數(shù)據(jù)，原始數(shù)據(jù)為動(dòng)態(tài)測(cè)量過(guò)程中獲取到的所有數(shù)據(jù)；對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理，以得到動(dòng)態(tài)測(cè)量數(shù)據(jù)；建立動(dòng)態(tài)測(cè)量數(shù)據(jù)的組合模型，組合模型用于對(duì)動(dòng)態(tài)測(cè)量數(shù)據(jù)進(jìn)行特征分析，以得到動(dòng)態(tài)量測(cè)數(shù)據(jù)的系統(tǒng)誤差和隨機(jī)誤差；根據(jù)系統(tǒng)誤差分離動(dòng)態(tài)測(cè)量數(shù)據(jù)中的包含系統(tǒng)誤差的數(shù)據(jù)；根據(jù)隨機(jī)誤差分離動(dòng)態(tài)測(cè)量數(shù)據(jù)中的包含隨機(jī)誤差的數(shù)據(jù)；根據(jù)分離出的包含系統(tǒng)誤差和隨機(jī)誤差的數(shù)據(jù)，從動(dòng)態(tài)測(cè)量數(shù)據(jù)中得到動(dòng)態(tài)測(cè)量數(shù)據(jù)的真實(shí)值。利用本申請(qǐng)實(shí)施例提供的方案，能夠通過(guò)壞數(shù)據(jù)定位及糾錯(cuò)、系統(tǒng)性的和隨機(jī)性的誤差分離來(lái)實(shí)現(xiàn)數(shù)據(jù)清洗，得到高質(zhì)量的動(dòng)態(tài)測(cè)量數(shù)據(jù)。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種動(dòng)態(tài)測(cè)量數(shù)據(jù)的處理方法和裝置。

背景技術(shù)

目前，新能源行業(yè)數(shù)據(jù)不僅體量巨大、類(lèi)型多樣、構(gòu)成復(fù)雜，而且更重要的是數(shù)據(jù)質(zhì)量良莠不齊，數(shù)據(jù)缺失、異常、混亂、重復(fù)等現(xiàn)象明顯，直接導(dǎo)致國(guó)網(wǎng)消納云的數(shù)據(jù)價(jià)值密度低、數(shù)據(jù)質(zhì)量待提高、數(shù)據(jù)孤島、數(shù)據(jù)潛在價(jià)值未充分挖掘等問(wèn)題突出。

然而，目前采用的“數(shù)據(jù)清洗”，是在數(shù)據(jù)引入前，去掉空值數(shù)據(jù)和不滿足有效性要求的數(shù)據(jù)，仍屬于數(shù)據(jù)篩選的范疇，并不是真正意義上的數(shù)據(jù)清洗，不能得到足以用于研究的高質(zhì)量動(dòng)態(tài)測(cè)量數(shù)據(jù)。

發(fā)明內(nèi)容

本申請(qǐng)基于上述問(wèn)題，提供一種動(dòng)態(tài)測(cè)量數(shù)據(jù)的處理方法和裝置，通過(guò)壞數(shù)據(jù)定位及糾錯(cuò)、系統(tǒng)性的和隨機(jī)性的誤差分離來(lái)實(shí)現(xiàn)數(shù)據(jù)清洗。

本申請(qǐng)一方面提供了一種動(dòng)態(tài)測(cè)量數(shù)據(jù)的處理方法，該方法包括：

從新能源云數(shù)據(jù)庫(kù)獲取原始數(shù)據(jù)，其中，所述原始數(shù)據(jù)為動(dòng)態(tài)測(cè)量過(guò)程中獲取到的所有數(shù)據(jù)；

對(duì)所述原始數(shù)據(jù)進(jìn)行預(yù)處理，以得到動(dòng)態(tài)測(cè)量數(shù)據(jù)，其中，所述預(yù)處理至少包括如下一種：數(shù)據(jù)截?cái)唷㈦x散化、初辨統(tǒng)計(jì)特性和剔點(diǎn)處理；

建立所述動(dòng)態(tài)測(cè)量數(shù)據(jù)的組合模型，所述組合模型用于對(duì)所述動(dòng)態(tài)測(cè)量數(shù)據(jù)進(jìn)行特征分析，以得到所述動(dòng)態(tài)量測(cè)數(shù)據(jù)的系統(tǒng)誤差和隨機(jī)誤差；

根據(jù)所述組合模型輸出的所述系統(tǒng)誤差分離所述動(dòng)態(tài)測(cè)量數(shù)據(jù)中的包含系統(tǒng)誤差的數(shù)據(jù)；

根據(jù)所述組合模型輸出的所述隨機(jī)誤差分離所述動(dòng)態(tài)測(cè)量數(shù)據(jù)中的包含隨機(jī)誤差的數(shù)據(jù)；

根據(jù)分離出的所述包含系統(tǒng)誤差的數(shù)據(jù)和分離出的所述包含隨機(jī)誤差的數(shù)據(jù)，從所述動(dòng)態(tài)測(cè)量數(shù)據(jù)中得到所述動(dòng)態(tài)測(cè)量數(shù)據(jù)的真實(shí)值。

優(yōu)選地，對(duì)所述原始數(shù)據(jù)進(jìn)行數(shù)據(jù)截?cái)啵ǎ?/p>

根據(jù)預(yù)設(shè)的截取長(zhǎng)度對(duì)所述原始數(shù)據(jù)進(jìn)行截?cái)啵缘玫剿鰟?dòng)態(tài)測(cè)量數(shù)據(jù)；

其中，所述截取長(zhǎng)度為一個(gè)或多個(gè)動(dòng)態(tài)測(cè)量過(guò)程中所需要測(cè)量的最大數(shù)據(jù)長(zhǎng)度。

優(yōu)選地，對(duì)所述原始數(shù)據(jù)進(jìn)行剔點(diǎn)處理，包括：

根據(jù)所述原始數(shù)據(jù)構(gòu)造第一中位數(shù)序列；

根據(jù)所述第一中位數(shù)序列構(gòu)成與所述第一中位數(shù)序列相鄰的三個(gè)數(shù)據(jù)的第二中位數(shù)序列；

根據(jù)所述相鄰的三個(gè)數(shù)據(jù)的第二中位數(shù)序列構(gòu)建第三序列，其中，所述第三序列的構(gòu)建方法通過(guò)如下公式所示：

其中，{x″′_i}為第三序列，{x″_i}為第二中位數(shù)序列；

計(jì)算所述第一中位數(shù)序列中的第一值減去所述第三序列中對(duì)應(yīng)的第一值的差的絕對(duì)值，得到差值，并判斷所述差值是否大于預(yù)設(shè)的閾值；

若所述差值大于預(yù)設(shè)的閾值，則從所述原始數(shù)據(jù)中剔除所述第一中位數(shù)序列中的第一值，并根據(jù)所述第一中位數(shù)序列中的第一值的相鄰數(shù)據(jù)計(jì)算一個(gè)平滑的線性插值，再用所述線性插值代替所述第一中位數(shù)序列中的第一值。