[發明專利]一種數據接入系統、接入方法、計算機設備和存儲介質

在審

• 申請號: 202110971748.6
• 申請日: 2021-08-24
• 公開（公告）號: CN113886472A
• 公開（公告）日: 2022-01-04
• 發明（設計）人: 魏飛;陳鑫;陳娟;張兆杰;翟術然;盧靜雅;呂偉嘉
• 申請（專利權）人: 國網天津市電力公司營銷服務中心;國網天津市電力公司;國家電網有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/2455;G06F16/27;G06F16/28;G06Q10/00;G06Q50/06
• 代理公司: 天津盛理知識產權代理有限公司 12209
• 代理人: 王來佳

本發明涉及一種數據接入系統、接入方法、計算機設備和存儲介質，包括用電信息采集前置模塊、一收雙發模塊和運維監控模塊；其中：所述用電信息采集前置模塊，用于將電力終端用電數據接入；該用電信息采集前置模塊的輸出端與一收雙發模塊相連接；所述一收雙發模塊用于將接收到的電力終端用電數據輸出至oracle數據庫和HBase數據庫，所述一收雙發模塊的輸出端與運維監控模塊相連接；所述運維監控模塊用于從oracle數據庫和HBase數據庫中采集電力終端用電數據，并對該電力終端用電數據的接入過程進行監控。本發明通過采集數據接入、一收雙發及運維監控，有效解決海量數據高并發接入難、數據質量不高等問題。

技術領域

本發明屬于數據接入技術領域，尤其是一種數據接入系統、接入方法、計算機設備和存儲介質。

背景技術

用電信息采集系統作為智能電網重要的組成部分，國網公司自2009年以來，通過對采集系統的全面建設，有力的促進了智能量測技術的發展，有效提升電網智能化水平。

當前，新一輪的電力體制改革逐步推進，現有的用電信息采集系統的數據項、采集頻度、數據完整性和及時性已不滿足發展的需要，尤其是采集數據接入過程中，存在數據同時并行接入困難、新舊采集系統無法平穩過度、數據接入過程不穩定等問題。

發明內容

本發明的目的在于克服現有技術的不足，提出一種數據接入系統、接入方法、計算機設備和存儲介質，能夠有效解決數據同時并行接入難、數據質量不高等技術問題。

本發明解決其現實問題是采取以下技術方案實現的：

一種數據接入系統，包括用電信息采集前置模塊、一收雙發模塊和運維監控模塊；其中：

所述用電信息采集前置模塊，用于將電力終端用電數據接入；該用電信息采集前置模塊的輸出端與一收雙發模塊相連接；

所述一收雙發模塊用于將接收到的電力終端用電數據分別輸出至新、舊采集系統，再由新舊采集系統將電力終端用電數據分別輸出至oracle數據庫和HBase數據庫，所述一收雙發模塊的輸出端與運維監控模塊相連接；

所述運維監控模塊用于從oracle數據庫和HBase數據庫中采集電力終端用電數據，并對該電力終端用電數據的接入過程進行監控。

而且，所述用電信息采集前置模塊包括EPOLL模塊、Redis模塊和分布式入庫組件；其中：

所述EPOLL模塊的輸出端與Redis模塊相連接，所述Redis模塊的輸出端與分布式入庫組件相連接；所述EPOLL模塊用于對電力終端用電數據進行同時并行采集；

所述Redis模塊用于將所采集的電力終端用電數據進行分布式緩存；

所述分布式入庫組件用于將分布式緩存的電力終端用電數據并行入庫。

而且，所述分布式入庫組件包括：數據清洗模塊，用于對分布式緩存的電力終端用電數據中的錯誤數據進行過濾；數據分組模塊，用于將清洗后的數據，根據數據特征對數據進行分組；并行入庫模塊，用于將分組后的數據進行多節點多進程的分布式并行入庫。

而且，所述運維監控模塊包括：接入數據監控模塊、日志監控模塊和緩存監控模塊；所述接入數據監控模塊用于將從oracle數據庫和HBase數據庫中采集電力終端用電數據發送至監控平臺；所述日志監控模塊，用于對電力終端用電數據接入操作系統日志進行監控；所述緩存監控模塊用于對緩存數據進行監控。

一種數據接入方法，包括以下步驟：

獲取電力終端用電數據；

將所述電力終端用電數據分別輸出至新、舊采集系統，再由新舊采集系統將電力終端用電數據分別輸出至oracle數據庫和HBase數據庫；