[發明專利]基于KAFKA消息總線的數據匯聚存儲方法、設備和存儲介質

在審

• 申請號: 201910385337.1
• 申請日: 2019-05-09
• 公開（公告）號: CN110515938A
• 公開（公告）日: 2019-11-29
• 發明（設計）人: 徐建航;李軍良;葉飛;梅崢;孫頔;王培;代天淇;劉景濤;游進;岳振鐸;謝博;蘇瑞;米為民;王恒
• 申請（專利權）人: 北京科東電力控制系統有限責任公司;國網江蘇省電力有限公司電力科學研究院;國網江蘇省電力有限公司;國家電網有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/242
• 代理公司: 42102 湖北武漢永嘉專利代理有限公司
• 代理人: 張惠玲;朱宏偉<國際申請>=<國際公布>

1.一種基于KAFKA消息總線的數據匯聚存儲方法，用于優化多個數據發送端和數據接收端之間的數據傳輸，且數據接收端至少包括多個用于存儲數據的數據庫；其特征在于，包括：

在數據接收端與多個數據發送端之間設置KAFKA消息總線，KAFKA消息總線接收多個數據發送端發送至數據接收端的數據信息；

KAFKA消息總線通過分析數據接收端的數據讀取指標，判定數據接收端實時的數據存儲壓力是否處于正常狀態，通過調控從KAFKA消息總線與數據接收端之間的數據傳輸速率，以改變數據入庫的速率；

在數據接收端的各個數據庫與KAFKA消息總線之間設置數據分發設備，按照接收到的數據信息的的數據類型，將數據信息發送到指定數據庫，完成數據的分發存儲。

2.根據權利要求1所述的基于KAFKA消息總線的數據匯聚存儲方法，其特征在于，KAFKA消息總線對不同的數據發送端發送的數據信息配置設定有效時間，避免在數據接收端掉線時數據無法接收。

3.根據權利要求1所述的基于KAFKA消息總線的數據匯聚存儲方法，其特征在于，在按照接收到的數據信息的的數據類型，將數據信息發送到指定數據庫的步驟中，包括步驟：

識別接收的數據類型，其中，數據類型分為靜態模型數據和動態數據；

若接收到靜態模型數據，則將靜態模型數據發送到第一數據庫進行存儲；若接收到動態數據，識別動態數據中包含的時間字段，并根據動態數據的節點數進行算法計算，將動態數據平均分布到多個第二數據庫中，實現對數據的邏輯管理。

4.根據權利要求3所述的基于KAFKA消息總線的數據匯聚存儲方法，其特征在于，靜態模型數據為數據發送端對應的數據采集對象的模型信息數據，至少包括服務器配置信息和進程配置信息；靜態模型數據的數據變化頻率低，數據量小；

動態數據分為量測狀態數據和運行狀態數據，量測狀態數據為數據發送端對應的數據采集對象的實時工況運行數據，至少包括CPU使用率、內存使用率、磁盤使用率和進程連接數；運行狀態數據為二值的狀態類信息，至少包括服務器是否可用及進程是否在線；動態數據采集頻率高，數據量大。

5.根據權利要求4所述的基于KAFKA消息總線的數據匯聚存儲方法，其特征在于，數據發送端對應的數據采集對象為電力系統的調度自動化監視系統，所有采集的動態數據中均具有采集時間字段，動態數據根據時間字段進行水平拆分，把動態數據平均分配到多個不同的數據庫中進行存儲，實現對數據的邏輯管理。

6.根據權利要求3所述的基于KAFKA消息總線的數據匯聚存儲方法，其特征在于，在對動態數據的節點數進行算法計算時，計算算法為哈希算法。

7.根據權利要求1所述的基于KAFKA消息總線的數據匯聚存儲方法，其特征在于，將數據信息發送到指定數據庫之后，用戶通過數據庫系統的訪問路由功能發送數據的增刪改查請求，實現對數據庫中存儲的數據信息進行數據處理。

8.根據權利要求7所述的基于KAFKA消息總線的數據匯聚存儲方法，其特征在于，用戶通過數據庫系統的訪問路由功能發送數據的增刪改查請求，具體步驟包括：

用戶通過客戶端向數據庫系統發送對指定數據進行增刪改查的SQL請求；

數據庫系統的SQL分片解析器對客戶請求SQL語句進行語法分析，并將SQL語句和路由信息發送給SQL結果匯聚器完成具體SQL操作；SQL分片解析器在接收到SQL語句請求時，根據表名查找表的分片路由信息，根據分片規則和路由信息，將SQL語句發送給指定的數據庫；

SQL結果匯聚器是SQL語句的執行者和結果合并者，在收到SQL請求時，將SQL請求放在底層數據庫執行，并將各個數據庫執行的結果進行收集，SQL結果匯聚器將結果按照原始SQL語句的內容進行結果拼裝，形成SQL結果集；

SQL結果匯聚器將經過拼裝的數據返回給客戶端。