[發明專利]基于大數據模型算法的信息采集治理系統及方法

在審

• 申請號: 202210307650.5
• 申請日: 2022-03-25
• 公開（公告）號: CN114661822A
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 王蔚萍;馬靜
• 申請（專利權）人: 江蘇螞蟻云數據技術有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/28
• 代理公司: 合肥東信智谷知識產權代理事務所(普通合伙) 34143
• 代理人: 王燕

1.基于大數據模型算法的信息采集治理系統，其特征在于：所述系統包括數據管理功能塊、工作流功能塊、采集前置通信功能塊以及數據庫集群功能塊；

其中，

數據庫集群功能塊：還包括HBase數據庫集群，數據管理功能塊將采集前置通信功能塊采集用戶用電信息進行分類管理并存儲進HBase數據庫集群，工作流功能塊實現用戶用電信息業務的線上自動化，所述HBase數據庫集群負責對數據存儲與維護，并根據不同的采集終端地址進行相應的數據分片存儲。

2.根據權利要求1所述的基于大數據模型算法的信息采集治理系統，其特征在于：所述數據管理功能塊實現客戶基本信息管理、資產信息管理、采集計量點維護、售電信息管理、電價信息管理以及系統管理，且數據管理功能塊中的各項功能都是對一個靜態的業務信息進行維護管理，包括：

(1)用電信息采集所涵蓋的所有用電客戶信息；

(2)維護用電客戶的基本信息；

(3)用電信息采集系統范圍內的所有采集計量設備的資產信息管理。

3.根據權利要求2所述的基于大數據模型算法的信息采集治理系統，其特征在于：所述工作流功能塊負責用戶用電信息采集系統中所有涉及到工作流的業務實現，利用工作流引擎可以實現對用戶用電信息采集業務的線上自動化。

4.根據權利要求3所述的基于大數據模型算法的信息采集治理系統，其特征在于：所述采集前置功能塊包括任務調度，數據解析以及前置通信模塊；

其中，

(1)任務調度模塊負責管理采集前置通信功能塊中的所有采集控制任務；

(2)數據解析模塊負責上下行通路上的數據解析與封裝；

(3)前置通信模塊負責與采集終端建立數據通信通道。

5.根據權利要求1所述的基于大數據模型算法的信息采集治理系統，其特征在于：所述HBase數據庫集群負責對海量原始數據存儲與維護，利用切面數據庫控制組件可以將數據庫操作與數據庫類型進行解耦，由切面組件負責實現具體的異構數據庫操作。

6.根據權利要求5所述的基于大數據模型算法的信息采集治理系統，其特征在于：所述數據庫集群功能塊負責整個系統的數據存儲與數據分析功能，還包括關系型數據庫集群：

其中，

關系型數據庫集群負責傳統用采數據與經過原始數據計算后的常用報表數據的存儲與維護。

7.根據權利要求6所述的基于大數據模型算法的信息采集治理系統，其特征在于：采集前置通信功能塊采集用戶用電數據的數據源，將采集終端的數據進行收集整理通過異構數據庫存儲組件進行數據的持久化儲存。

8.一種利用權利要求1-7任一項所述的基于大數據模型算法的信息采集方法，其特征在于：所述采集方法包括以下步驟：

(1)采集前置通信功能塊采集用戶用電數據的數據源；

(2)數據管理功能塊將采集前置通信功能塊采集用戶用電信息進行分類管理并存儲進HBase數據庫集群；

(3)工作流功能塊實現用戶用電信息業務的線上自動化；

(4)采集前置通信功能塊將采集終端的數據進行收集整理通過異構數據庫存儲組件進行數據的持久化儲存。