[發(fā)明專利]一種調(diào)度一體化平臺數(shù)據(jù)回流與增量同步的系統(tǒng)和方法

有效

• 申請?zhí)枺?/td>: 202110679118.1
• 申請日: 2021-06-18
• 公開（公告）號: CN113726840B
• 公開（公告）日: 2023-07-04
• 發(fā)明（設(shè)計）人: 駱國銘;周俊宇;吳海江;唐鶴;陳曉彤;亓玉國;李偉;區(qū)允杰;鐘童科;黃炳翔;梁錦來;陳凱陽;花潔;陳剛;胡福金
• 申請（專利權(quán)）人: 廣東電網(wǎng)有限責(zé)任公司佛山供電局
• 主分類號: H04L67/1095
• 分類號: H04L67/1095;H04L67/60;H04L9/40
• 代理公司: 南京禾易知識產(chǎn)權(quán)代理有限公司 32320
• 代理人: 張松云

1.一種調(diào)度一體化平臺數(shù)據(jù)回流與增量同步的系統(tǒng)，其特征在于：包括?dataCrawler采集子系統(tǒng)以及?dataChannel?采集子系統(tǒng)，

所述?dataCrawler?采集子系統(tǒng)包括登錄模塊、定時采集模塊以及自動轉(zhuǎn)發(fā)同步模塊，其中，

所述登錄模塊連接自動轉(zhuǎn)發(fā)同步模塊，以用于所述調(diào)度一體化平臺初始登錄外部客戶機(jī)，完成數(shù)據(jù)搭載；

所述定時采集模塊連接所述自動轉(zhuǎn)發(fā)同步模塊，用于定時獲取所述調(diào)度一體化平臺的數(shù)據(jù)；

所述自動轉(zhuǎn)發(fā)同步模塊在采信到所述調(diào)度一體化平臺的數(shù)據(jù)后，自動同步到所述dataChannel?采集子系統(tǒng)進(jìn)行數(shù)據(jù)同步服務(wù)；

所述?dataChannel?采集子系統(tǒng)包括數(shù)據(jù)增量過濾模塊、緩存池以及數(shù)據(jù)同步模塊，其中，

所述數(shù)據(jù)增量過濾模塊連接數(shù)據(jù)同步模塊以用于所述自動轉(zhuǎn)發(fā)同步模塊在采信到所述調(diào)度一體化平臺的數(shù)據(jù)時，對采集數(shù)據(jù)進(jìn)行壓縮加密；

所述緩存池連接所述數(shù)據(jù)同步模塊，用于對過濾后的所述采集數(shù)據(jù)進(jìn)行緩存并存儲；

所述數(shù)據(jù)同步模塊用于對所述緩存后采集數(shù)據(jù)進(jìn)行數(shù)據(jù)更新；包括以下步驟：

步驟?S1、初始化調(diào)度一體化平臺并在所述調(diào)度一體化平臺上啟用定時調(diào)試任務(wù)；

步驟?S2、對調(diào)度一體化平臺進(jìn)行登錄結(jié)果判斷，若輸出結(jié)果為是，則調(diào)度一體化平臺自動抓取數(shù)據(jù)，并自動轉(zhuǎn)發(fā)到?dataChannel?采集子系統(tǒng)進(jìn)行數(shù)據(jù)同步服務(wù)；反之，?則登錄調(diào)度一體化平臺的?CAS?登錄認(rèn)證服務(wù)，獲取?token?標(biāo)記數(shù)據(jù)，調(diào)度一體化平臺登錄成功后，直接獲取?token?標(biāo)記數(shù)據(jù)并自動轉(zhuǎn)發(fā)到?dataChannel?采集子系統(tǒng)進(jìn)行數(shù)據(jù)同步服務(wù)；

步驟?S3、dataChannel?采集子系統(tǒng)接收數(shù)據(jù)后，對所接收的數(shù)據(jù)進(jìn)行加密并進(jìn)行對比緩存；其中，

所述?dataChannel?采集子系統(tǒng)接收數(shù)據(jù)后，對所接收的數(shù)據(jù)進(jìn)行加密并與緩存池數(shù)據(jù)作比較，若所接收數(shù)據(jù)不存在緩存池時，則直接添加入增量數(shù)據(jù)隊列，否則加入修改數(shù)據(jù)隊列中

步驟?S4、緩存完成后將所接受的數(shù)據(jù)添加到增量任務(wù)，并對增量任務(wù)進(jìn)行入庫，?其中，所述增量任務(wù)的入庫具體實施方式包括：增量新增入庫以及增量修改入庫；

步驟?S5、將已入庫的增量任務(wù)標(biāo)記為緩存數(shù)據(jù)，完成調(diào)度一體化平臺數(shù)據(jù)回流與增量同步。

2.根據(jù)權(quán)利要求?1?所述的一種調(diào)度一體化平臺數(shù)據(jù)回流與增量同步的系統(tǒng)，其特征在于：所述數(shù)據(jù)增量過濾模塊在對采集數(shù)據(jù)進(jìn)行壓縮加密時，若，所述采集數(shù)據(jù)已進(jìn)行同步，則所述采集數(shù)據(jù)進(jìn)行過濾，過濾完成后輸送至所述緩存池中。

3.根據(jù)權(quán)利要求?1?所述的一種調(diào)度一體化平臺數(shù)據(jù)回流與增量同步的系統(tǒng)，其特征在于：所述?dataCrawler?采集子系統(tǒng)通信連接所述?dataChannel?采集子系統(tǒng)。