[發明專利]基于微服務的數據糾偏方法、系統及可讀介質

在審

• 申請號: 202010612794.2
• 申請日: 2020-06-30
• 公開（公告）號: CN111752937A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 寧光濤;方兵;覃丹;梁亞峰;張佳藝;周航;林強
• 申請（專利權）人: 海南電網有限責任公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/28;G06F16/29;G06Q50/06
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 陳歡

本發明提供一種基于微服務的數據糾偏方法、系統及可讀介質，該方法包括服務器向數字電網平臺、GIS系統部署微服務模塊；自動收資模塊通過微服務模塊接口獲取生數據并進行版本化管理，所述生數據由微服務模塊從數字電網平臺、GIS系統獲取，所述自動收資模塊部署于服務器；服務器對生數據進行數據清洗，生成熟數據；對熟數據進行二次處理，生成用于支撐規劃業務應用的規劃基礎數據。本發明通過部署微服務模塊方式采集數字電網各個業務領域的生數據，無需對原有系統進行調整，兼容性強，通過對數字電網平臺、GIS系統繁雜的數據進行處理整合，形成面向規劃業務的基礎數據，實現電網營配調信息的貫通，能夠為電網規劃提供有效的數據支撐。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種基于微服務的數據糾偏方法、系統及可讀介質。

背景技術

隨著人口分布的變化和城鎮化建設的推進，電網建設規模也日益擴大，電力數據呈現出幾何倍數的爆炸式增長態勢，電力大數據有數據體量大、數據格式多樣化、數據潛在價值密度低、數據處理速度快等特點，存在于電力應用的各個環節，目前已有許多企業開展了大量的數據分析應用的嘗試，通過建立數字電網平臺實現電力大數據管理是當下的主要趨勢，電網信息化建設雖然已取得一定成就，但仍然存在一些問題：數據涉及業務領域廣、各業務領域數據綜合利用效率低，不同業務領域數據間關聯性弱，難以為電網規劃提供基礎數據支撐。

發明內容

本發明的目的在于提供一種基于微服務的數據糾偏方法、系統及可讀介質，以克服或至少部分解決現有技術所存在的上述問題。

本發明第一方面提供一種基于微服務的數據糾偏方法，所述方法包括：

服務器向數字電網平臺、GIS系統部署微服務模塊；

自動收資模塊通過微服務模塊接口獲取生數據并進行版本化管理，所述生數據由微服務模塊從數字電網平臺、GIS系統獲取，所述自動收資模塊部署于服務器；

服務器對生數據進行數據清洗，生成熟數據；

對熟數據進行二次處理，生成用于支撐規劃業務應用的規劃基礎數據。

進一步的，所述服務器對生數據進行數據清洗，包括對生數據進行數據校驗，所述對生數據進行數據校驗具體包括：

對生數據進行完整性校驗，若校驗通過則進入下一步驟，否則根據校驗結果對數據倉庫中的校驗異常日志進行更新；

對生數據進行正確性校驗，若校驗通過則進入下一步驟，否則根據校驗結果對數據倉庫中的校驗異常日志進行更新；

對生數據進行邏輯性校驗，若校驗通過則將生數據保存到數據倉庫中，否則根據校驗結果對數據倉庫中的校驗異常日志進行更新。

進一步的，在對生數據進行數據校驗后，還對生數據進行數據融合，所述對生數據進行數據融合具體包括：

從數據倉庫中提取生數據，基于融合關系，通過多種融合方式對生數據進行數據融合，所述融合方式包括自動融合、特征融合以及人工融合；

將經過數據融合處理的生數據存儲到數據倉庫中。

進一步的，在對生數據進行數據融合后，還對生數據進行數據轉換，所述數據轉換具體包括：

從數據倉庫中提取生數據，根據轉換規則判斷生數據適用的轉換方式；

根據判斷結果采用相應的轉換方式對生數據進行數據轉換，所述轉換方式包括屬性合并和拓撲合并。

進一步的，所述微服務模塊包括CIM服務模塊、歷史服務模塊和Web服務模塊，

所述CIM服務模塊用于從數字電網平臺獲取資產數據、營銷數據；

所述歷史服務模塊用于從數字電網平臺獲取調度數據、計量數據；