[發明專利]海量平臺海迅實時庫量測數據接入系統

有效

• 申請號: 201710391303.4
• 申請日: 2017-05-27
• 公開（公告）號: CN107357809B
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 吳軍英;辛銳;周文芳;路欣;劉宏;高麗芳;曹明;陳連棟;陳方正;黃鏡宇
• 申請（專利權）人: 國家電網公司;國網河北省電力公司信息通信分公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/215
• 代理公司: 石家莊眾志華清知識產權事務所(特殊普通合伙) 13123
• 代理人: 張明月

本發明公開了一種海量平臺海迅實時庫量測數據接入系統，屬于電力系統數據管理技術領域，包括依次對應的控制模塊、接入業務模塊和通用模塊，其中控制模塊用于與數據總線接口進行交互，并對從數據總線接口提取的接收數據進行預處理，形成業務日志；接入業務模塊用于對業務日志進行加工、保存、緩存和備份，形成后端日志文件；通用模塊用于將形成的后端日志文件進行前端操作處理。本發明可滿足各業務應用對歷史數據或準實時數據進行按需存儲、整合、共享交換、計算加工以及統一和標準訪問的需求。

技術領域

本發明涉及一種海量平臺海迅實時庫量測數據接入系統，屬于電力系統數據管理技術領域。

背景技術

電網運行基礎數據的質量直接決定了各種高級分析與應用的實用化水平，也嚴重影響電力調度控制的準確性、可靠性及精益性。電力系統隨著各省（市）公司和直屬單位的調度EMS、電能量、輸變電設備狀態監測、用戶用電信息采集、配電自動化等業務的建設，產生了大量準實時數據，迫切需要建立一整套量測數據接入海迅實時庫的系統，以滿足各業務應用對歷史/準實時數據進行按需存儲、整合、共享交換、計算加工以及統一和標準訪問的需求。

發明內容

本發明需要解決的技術問題是提供一種海量平臺海迅實時庫量測數據接入系統，可滿足各業務應用對歷史數據或準實時數據進行按需存儲、整合、共享交換、計算加工以及統一和標準訪問的需求。

為解決上述技術問題，本發明所采用的技術方案是：

一種海量平臺海迅實時庫量測數據接入系統，包括依次對應的控制模塊、接入業務模塊和通用模塊，其中控制模塊用于與數據總線接口進行交互，并對從數據總線接口提取的接收數據進行預處理，形成業務日志；接入業務模塊用于對業務日志進行加工、保存、緩存和備份，形成后端日志文件；通用模塊用于將形成的后端日志文件進行人機交互式的前端操作處理。

本發明技術方案的進一步改進在于：控制模塊的處理步驟為：

步驟2.1、數據響應分發：與數據總線接口交互對應連接，用于響應、分發接收數據，形成調用數據；

步驟2.2、數據預處理：對調用數據進行預處理，首先對調用數據進行解析轉換處理，然后驗證調用數據的合法性、完整性和有效性，借此過濾掉非法數據，避免無謂的計算資源浪費，形成有效數據；

步驟2.3、數據質量檢查：根據業務系統數據質量檢查規則，為有效數據對應指定檢查規則，驗證其是否達到接入質量要求，同時設有黑名單/白名單機制，為有特殊需求的有效數據開辟綠色通道；

步驟2.4、業務調度控制：根據數據類型，將通過驗證的有效數據進行對應性分發；

步驟2.5、業務日志處理：處理業務調度控制步驟分發的有效數據，形成業務日志，同時對業務日志的規則進行加載，并記錄業務日志的總體執行情況，形成詳細日志。

本發明技術方案的進一步改進在于：數據質量檢查規則包括數據范圍檢查和數據異常值檢查。

本發明技術方案的進一步改進在于：接入業務模塊的處理步驟為：

步驟4.1、數據加工：與業務日志處理步驟對應，根據數據接入的多樣性需求，根據不同側面特性對業務日志中的日志數據加以描述，為日志數據提供可配置的加工規則加載，以匹配日志數據接入時的不同需求；

步驟4.2、數據周期性寫入：將經加工后的日志數據，在接入模塊建立接入操作后，按照固定的頻率向海量平臺海迅實時庫進行數據寫入操作；

步驟4.3、數據保存：將寫入的日志數據適配到海量平臺海迅實時庫中，并進行日志數據封裝；