[發明專利]一種數據接入系統、接入方法、計算機設備和存儲介質

在審

• 申請號: 202110971748.6
• 申請日: 2021-08-24
• 公開（公告）號: CN113886472A
• 公開（公告）日: 2022-01-04
• 發明（設計）人: 魏飛;陳鑫;陳娟;張兆杰;翟術然;盧靜雅;呂偉嘉
• 申請（專利權）人: 國網天津市電力公司營銷服務中心;國網天津市電力公司;國家電網有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/2455;G06F16/27;G06F16/28;G06Q10/00;G06Q50/06
• 代理公司: 天津盛理知識產權代理有限公司 12209
• 代理人: 王來佳

1.一種數據接入系統，其特征在于：包括用電信息采集前置模塊、一收雙發模塊和運維監控模塊；其中：

所述用電信息采集前置模塊，用于將電力終端用電數據接入；該用電信息采集前置模塊的輸出端與一收雙發模塊相連接；

所述一收雙發模塊用于將接收到的電力終端用電數據分別輸出至新、舊采集系統，再由新、舊采集系統將電力終端用電數據分別輸出至oracle數據庫和HBase數據庫，所述一收雙發模塊的輸出端與運維監控模塊相連接；

所述運維監控模塊用于從oracle數據庫和HBase數據庫中采集電力終端用電數據，并對該電力終端用電數據的接入過程進行監控。

2.根據權利要求1所述的一種數據接入系統，其特征在于：所述用電信息采集前置模塊包括EPOLL模塊、Redis模塊和分布式入庫組件；其中：

所述EPOLL模塊的輸出端與Redis模塊相連接，所述Redis模塊的輸出端與分布式入庫組件相連接；所述EPOLL模塊用于對電力終端用電數據進行同時并行采集；

所述Redis模塊用于將所采集的電力終端用電數據進行分布式緩存；

所述分布式入庫組件用于將分布式緩存的電力終端用電數據并行入庫。

3.根據權利要求1所述的一種數據接入系統，其特征在于：所述分布式入庫組件包括：數據清洗模塊，用于對分布式緩存的電力終端用電數據中的錯誤數據進行過濾；數據分組模塊，用于將清洗后的數據，根據數據特征對數據進行分組；并行入庫模塊，用于將分組后的數據進行多節點多進程的分布式并行入庫。

4.根據權利要求1所述的一種數據接入系統，其特征在于：所述運維監控模塊包括：接入數據監控模塊、日志監控模塊和緩存監控模塊；所述接入數據監控模塊用于將從oracle數據庫和HBase數據庫中采集電力終端用電數據發送至監控平臺；所述日志監控模塊，用于對電力終端用電數據接入操作系統日志進行監控；所述緩存監控模塊用于對緩存數據進行監控。

5.一種數據接入方法，其特征在于：包括以下步驟：

獲取電力終端用電數據；

將所述電力終端用電數據分別輸出至新、舊采集系統，再由新舊采集系統將電力終端用電數據分別輸出至oracle數據庫和HBase數據庫；

從oracle數據庫和HBase數據庫中采集電力終端用電數據，并對該電力終端用電數據的接入過程進行監控。

6.根據權利要求1所述的一種數據接入方法，其特征在于：所述獲取電力終端用電數據的方法為：

對電力終端用電數據進行同時并行采集；

將采集的電力終端用電數據進行分布式緩存；

將分布式緩存的電力終端用電數據并行入庫。

7.根據權利要求1所述的一種數據接入方法，其特征在于：所述對用電數據接入過程監控的方法為：

將從oracle數據庫和HBase數據庫中采集電力終端用電數據發送至監控平臺進行監控，該監控平臺用于存儲、展示、告警，并設置采集監控的監控值；

對電力終端用電數據接入操作系統日志進行監控，使用syslog協議進行日志采集，并展示日志結構化信息。

8.根據權利要求1所述的一種數據接入方法，其特征在于：所述對用電數據接入過程監控的方法還包括以下步驟：

對key值數量、通信端口、Redis進程內存、終端連接數、操作命令執行次數的緩存數據進行監控。

9.一種計算機設備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于：所述處理器執行所述計算機程序時實現權利要求5至8中任一項所述的一種數據接入方法的步驟。

10.一種計算機存儲介質，其上存儲有計算機程序，其特征在于：所述計算機程序被處理器執行時實現權利要求5至8中任一項所述的一種數據接入方法的步驟。