[發(fā)明專利]基于微服務(wù)的數(shù)據(jù)糾偏方法、系統(tǒng)及可讀介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010612794.2
• 申請日: 2020-06-30
• 公開（公告）號(hào): CN111752937A
• 公開（公告）日: 2020-10-09
• 發(fā)明（設(shè)計(jì)）人: 寧光濤;方兵;覃丹;梁亞峰;張佳藝;周航;林強(qiáng)
• 申請（專利權(quán)）人: 海南電網(wǎng)有限責(zé)任公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/28;G06F16/29;G06Q50/06
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 陳歡

1.一種基于微服務(wù)的數(shù)據(jù)糾偏方法，其特征在于，所述方法包括：

服務(wù)器向數(shù)字電網(wǎng)平臺(tái)、GIS系統(tǒng)部署微服務(wù)模塊；

自動(dòng)收資模塊通過微服務(wù)模塊接口獲取生數(shù)據(jù)并進(jìn)行版本化管理，所述生數(shù)據(jù)由微服務(wù)模塊從數(shù)字電網(wǎng)平臺(tái)、GIS系統(tǒng)獲取，所述自動(dòng)收資模塊部署于服務(wù)器；

服務(wù)器對(duì)生數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，生成熟數(shù)據(jù)；

對(duì)熟數(shù)據(jù)進(jìn)行二次處理，生成用于支撐規(guī)劃業(yè)務(wù)應(yīng)用的規(guī)劃基礎(chǔ)數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的一種基于微服務(wù)的數(shù)據(jù)糾偏方法，其特征在于，所述服務(wù)器對(duì)生數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，包括對(duì)生數(shù)據(jù)進(jìn)行數(shù)據(jù)校驗(yàn)，所述對(duì)生數(shù)據(jù)進(jìn)行數(shù)據(jù)校驗(yàn)具體包括：

對(duì)生數(shù)據(jù)進(jìn)行完整性校驗(yàn)，若校驗(yàn)通過則進(jìn)入下一步驟，否則根據(jù)校驗(yàn)結(jié)果對(duì)數(shù)據(jù)倉庫中的校驗(yàn)異常日志進(jìn)行更新；

對(duì)生數(shù)據(jù)進(jìn)行正確性校驗(yàn)，若校驗(yàn)通過則進(jìn)入下一步驟，否則根據(jù)校驗(yàn)結(jié)果對(duì)數(shù)據(jù)倉庫中的校驗(yàn)異常日志進(jìn)行更新；

對(duì)生數(shù)據(jù)進(jìn)行邏輯性校驗(yàn)，若校驗(yàn)通過則將生數(shù)據(jù)保存到數(shù)據(jù)倉庫中，否則根據(jù)校驗(yàn)結(jié)果對(duì)數(shù)據(jù)倉庫中的校驗(yàn)異常日志進(jìn)行更新。

3.根據(jù)權(quán)利要求2所述的一種基于微服務(wù)的數(shù)據(jù)糾偏方法，其特征在于，在對(duì)生數(shù)據(jù)進(jìn)行數(shù)據(jù)校驗(yàn)后，還對(duì)生數(shù)據(jù)進(jìn)行數(shù)據(jù)融合，所述對(duì)生數(shù)據(jù)進(jìn)行數(shù)據(jù)融合具體包括：

從數(shù)據(jù)倉庫中提取生數(shù)據(jù)，基于融合關(guān)系，通過多種融合方式對(duì)生數(shù)據(jù)進(jìn)行數(shù)據(jù)融合，所述融合方式包括自動(dòng)融合、特征融合以及人工融合；

將經(jīng)過數(shù)據(jù)融合處理的生數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)倉庫中。

4.根據(jù)權(quán)利要求3所述的一種基于微服務(wù)的數(shù)據(jù)糾偏方法，其特征在于，在對(duì)生數(shù)據(jù)進(jìn)行數(shù)據(jù)融合后，還對(duì)生數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換，所述數(shù)據(jù)轉(zhuǎn)換具體包括：

從數(shù)據(jù)倉庫中提取生數(shù)據(jù)，根據(jù)轉(zhuǎn)換規(guī)則判斷生數(shù)據(jù)適用的轉(zhuǎn)換方式；

根據(jù)判斷結(jié)果采用相應(yīng)的轉(zhuǎn)換方式對(duì)生數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換，所述轉(zhuǎn)換方式包括屬性合并和拓?fù)浜喜ⅰ?/p>

5.根據(jù)權(quán)利要求1所述的一種基于微服務(wù)的數(shù)據(jù)糾偏方法，其特征在于，所述微服務(wù)模塊包括CIM服務(wù)模塊、歷史服務(wù)模塊和Web服務(wù)模塊，

所述CIM服務(wù)模塊用于從數(shù)字電網(wǎng)平臺(tái)獲取資產(chǎn)數(shù)據(jù)、營銷數(shù)據(jù)；

所述歷史服務(wù)模塊用于從數(shù)字電網(wǎng)平臺(tái)獲取調(diào)度數(shù)據(jù)、計(jì)量數(shù)據(jù)；

所述Web服務(wù)模塊用于從GIS系統(tǒng)獲取GIS網(wǎng)架數(shù)據(jù)。

6.一種基于微服務(wù)的數(shù)據(jù)糾偏系統(tǒng)，其特征在于，所述系統(tǒng)包括服務(wù)器、數(shù)字電網(wǎng)平臺(tái)以及GIS系統(tǒng)，所述服務(wù)器包括：

部署模塊，用于向數(shù)字電網(wǎng)平臺(tái)、GIS系統(tǒng)部署微服務(wù)模塊；

自動(dòng)收資模塊，用于通過微服務(wù)模塊接口獲取生數(shù)據(jù)并進(jìn)行版本化管理，所述生數(shù)據(jù)由微服務(wù)模塊從數(shù)字電網(wǎng)平臺(tái)、GIS系統(tǒng)獲取；

數(shù)據(jù)清洗模塊，用于對(duì)生數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，生成熟數(shù)據(jù)；

二次處理模塊，用于對(duì)熟數(shù)據(jù)進(jìn)行二次處理，生成用于支撐規(guī)劃業(yè)務(wù)應(yīng)用的規(guī)劃基礎(chǔ)數(shù)據(jù)。

7.根據(jù)權(quán)利要求6所述的一種基于微服務(wù)的數(shù)據(jù)糾偏系統(tǒng)，其特征在于，所述數(shù)據(jù)清洗模塊具體還包括完整性校驗(yàn)子模塊、正確性校驗(yàn)子模塊和邏輯性校驗(yàn)子模塊，

所述完整性校驗(yàn)子模塊用于對(duì)生數(shù)據(jù)進(jìn)行完整性校驗(yàn)，若校驗(yàn)通過將生數(shù)據(jù)發(fā)送到正確性校驗(yàn)子模塊，否則根據(jù)校驗(yàn)結(jié)果對(duì)數(shù)據(jù)倉庫中的校驗(yàn)異常日志進(jìn)行更新；

所述正確性校驗(yàn)子模塊用于對(duì)生數(shù)據(jù)進(jìn)行正確性校驗(yàn)，若校驗(yàn)通過將生數(shù)據(jù)發(fā)送到邏輯性校驗(yàn)子模塊，否則根據(jù)校驗(yàn)結(jié)果對(duì)數(shù)據(jù)倉庫中的校驗(yàn)異常日志進(jìn)行更新；

所述邏輯性校驗(yàn)子模塊用于對(duì)生數(shù)據(jù)進(jìn)行邏輯性校驗(yàn)，若校驗(yàn)通過則將生數(shù)據(jù)保存到數(shù)據(jù)倉庫中，否則根據(jù)校驗(yàn)結(jié)果對(duì)數(shù)據(jù)倉庫中的校驗(yàn)異常日志進(jìn)行更新。

8.根據(jù)權(quán)利要求7所述的一種基于微服務(wù)的數(shù)據(jù)糾偏系統(tǒng)，其特征在于，所述數(shù)據(jù)清洗模塊具體還包括用于對(duì)生數(shù)據(jù)進(jìn)行數(shù)據(jù)融合的數(shù)據(jù)融合子模塊，所述數(shù)據(jù)融合子模塊具體包括：

融合子模塊，用于從數(shù)據(jù)倉庫中提取生數(shù)據(jù)，基于融合關(guān)系，通過多種融合方式對(duì)生數(shù)據(jù)進(jìn)行數(shù)據(jù)融合，所述融合方式包括自動(dòng)融合、特征融合以及人工融合；

存儲(chǔ)子模塊，用于將經(jīng)過數(shù)據(jù)融合處理的生數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)倉庫中。