[發(fā)明專利]基于大數(shù)據(jù)模型算法的信息采集治理系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 202210307650.5
• 申請日: 2022-03-25
• 公開（公告）號: CN114661822A
• 公開（公告）日: 2022-06-24
• 發(fā)明（設(shè)計）人: 王蔚萍;馬靜
• 申請（專利權(quán)）人: 江蘇螞蟻云數(shù)據(jù)技術(shù)有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/28
• 代理公司: 合肥東信智谷知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 34143
• 代理人: 王燕

本發(fā)明提供了基于大數(shù)據(jù)模型算法的信息采集治理系統(tǒng)及方法，所述系統(tǒng)包括HBase數(shù)據(jù)庫集群，數(shù)據(jù)管理功能塊將采集前置通信功能塊采集用戶用電信息進行分類管理并存儲進HBase數(shù)據(jù)庫集群，所述HBase數(shù)據(jù)庫集群負(fù)責(zé)對數(shù)據(jù)存儲與維護。本發(fā)明通過設(shè)置HBase數(shù)據(jù)庫集群，數(shù)據(jù)庫集群功能塊負(fù)責(zé)整個系統(tǒng)的數(shù)據(jù)存儲與數(shù)據(jù)分析功能，根據(jù)不同業(yè)務(wù)與數(shù)據(jù)需求，將數(shù)據(jù)庫集群分為關(guān)系型數(shù)據(jù)庫集群與HBase數(shù)據(jù)庫集群，HBase分布式數(shù)據(jù)庫能根據(jù)不同的采集終端地址進行相應(yīng)的數(shù)據(jù)分片實現(xiàn)強大靈活的數(shù)據(jù)存儲功能，并提升系統(tǒng)的可擴展性，從而便于系統(tǒng)的維護。

技術(shù)領(lǐng)域

本發(fā)明涉及電信息采集系統(tǒng)技術(shù)領(lǐng)域，尤其涉及基于大數(shù)據(jù)模型算法的信息采集治理系統(tǒng)及方法。

背景技術(shù)

國內(nèi)的用電信息采集系統(tǒng)的建設(shè)從.上世紀(jì)九十年代起，已經(jīng)發(fā)展了十幾年，電力市場化改革也促進了用采系統(tǒng)的不斷發(fā)展，2008年國家電網(wǎng)公司開始了對智能電表規(guī)范的研究工作，謀求在公司系統(tǒng)范圍內(nèi)對智能電表制定統(tǒng)-的規(guī)范，從外觀到通信、信息安全、功能配置等各個方面都提出了標(biāo)準(zhǔn)要求，為大范圍、統(tǒng)一的用電信息采集提供支持。

2009年起，國家電網(wǎng)公司提出了建設(shè)“全覆蓋、全采集、全費控的目標(biāo)，推動用戶用電信息采集系統(tǒng)的建設(shè)進程，2016-2017年，國家電網(wǎng)公司重點實現(xiàn)用采系統(tǒng)的全覆蓋，兩年間新增用戶7885萬戶，總投資達(dá)95億元。構(gòu)建“互聯(lián)網(wǎng)+”的電力運營模式，提升信息平臺承載能力和業(yè)務(wù)應(yīng)用水平，建立智能電網(wǎng)支撐智慧城市的創(chuàng)新示范區(qū)，推動智能電網(wǎng)發(fā)展。

現(xiàn)有技術(shù)存在以下不足：現(xiàn)有電信息數(shù)據(jù)采集系統(tǒng)在數(shù)據(jù)存儲方面嚴(yán)重依賴關(guān)系型數(shù)據(jù)庫集群，且橫向擴展能力不足，隨著業(yè)務(wù)增長，需要對系統(tǒng)架構(gòu)進行較大的重構(gòu)調(diào)整，才能滿足新業(yè)務(wù)需求，不利于系統(tǒng)維護。

發(fā)明內(nèi)容

本發(fā)明針對現(xiàn)有技術(shù)的不足，提供了基于大數(shù)據(jù)模型算法的信息采集治理系統(tǒng)及方法。

本發(fā)明通過以下技術(shù)手段實現(xiàn)解決上述技術(shù)問題的：基于大數(shù)據(jù)模型算法的信息采集治理系統(tǒng)，所述系統(tǒng)包括數(shù)據(jù)管理功能塊、工作流功能塊、采集前置通信功能塊以及數(shù)據(jù)庫集群功能塊；

其中，

數(shù)據(jù)庫集群功能塊：還包括HBase數(shù)據(jù)庫集群，數(shù)據(jù)管理功能塊將采集前置通信功能塊采集用戶用電信息進行分類管理并存儲進HBase數(shù)據(jù)庫集群，工作流功能塊實現(xiàn)用戶用電信息業(yè)務(wù)的線上自動化，所述HBase數(shù)據(jù)庫集群負(fù)責(zé)對數(shù)據(jù)存儲與維護，并根據(jù)不同的采集終端地址進行相應(yīng)的數(shù)據(jù)分片存儲。

優(yōu)選的，所述數(shù)據(jù)管理功能塊實現(xiàn)客戶基本信息管理、資產(chǎn)信息管理、采集計量點維護、售電信息管理、電價信息管理以及系統(tǒng)管理，且數(shù)據(jù)管理功能塊中的各項功能都是對一個靜態(tài)的業(yè)務(wù)信息進行維護管理，包括：

(1)用電信息采集所涵蓋的所有用電客戶信息；

(2)維護用電客戶的基本信息；

(3)用電信息采集系統(tǒng)范圍內(nèi)的所有采集計量設(shè)備的資產(chǎn)信息管理。

優(yōu)選的，所述工作流功能塊負(fù)責(zé)用戶用電信息采集系統(tǒng)中所有涉及到工作流的業(yè)務(wù)實現(xiàn)，利用工作流引擎可以實現(xiàn)對用戶用電信息采集業(yè)務(wù)的線上自動化。

優(yōu)選的，所述采集前置功能塊包括任務(wù)調(diào)度，數(shù)據(jù)解析以及前置通信模塊；

其中，

(1)任務(wù)調(diào)度模塊負(fù)責(zé)管理采集前置通信功能塊中的所有采集控制任務(wù)；

(2)數(shù)據(jù)解析模塊負(fù)責(zé)上下行通路上的數(shù)據(jù)解析與封裝；

(3)前置通信模塊負(fù)責(zé)與采集終端建立數(shù)據(jù)通信通道。

優(yōu)選的，所述HBase數(shù)據(jù)庫集群負(fù)責(zé)對海量原始數(shù)據(jù)存儲與維護，利用切面數(shù)據(jù)庫控制組件可以將數(shù)據(jù)庫操作與數(shù)據(jù)庫類型進行解耦，由切面組件負(fù)責(zé)實現(xiàn)具體的異構(gòu)數(shù)據(jù)庫操作。