[發(fā)明專利]基于電力行業(yè)的云上數(shù)據(jù)發(fā)布服務(wù)兩級共享緩存分析方法

有效

• 申請?zhí)枺?/td>: 201811511520.3
• 申請日: 2018-12-11
• 公開（公告）號: CN109614412B
• 公開（公告）日: 2023-06-02
• 發(fā)明（設(shè)計）人: 李偉東;猶鋒;王淵;夏心鋒
• 申請（專利權(quán)）人: 江蘇瑞中數(shù)據(jù)股份有限公司;南瑞集團有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/25
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 顏盈靜

本發(fā)明公開了一種基于電力行業(yè)云上數(shù)據(jù)發(fā)布服務(wù)兩級共享緩存分析方法，具體包括：步驟一：原始數(shù)據(jù)接入，通過業(yè)務(wù)系統(tǒng)及相關(guān)采集端進行數(shù)據(jù)采集進行分析處理并推送至服務(wù)器；步驟二：采用Socket長連接的通信方式將數(shù)據(jù)以報文格式推送至數(shù)據(jù)共享端；步驟三：對數(shù)據(jù)進行分析處理并寫入Redis庫中；步驟四：根據(jù)業(yè)務(wù)邏輯不同在Redis中設(shè)置不同分析策略并寫入至MySQL中。步驟五：在MySQL中根據(jù)接收端需求不同對數(shù)據(jù)進行二次分析處理并推送至各個客戶端；步驟六：各模塊裝載、系統(tǒng)初始化。

技術(shù)領(lǐng)域

本發(fā)明涉及業(yè)務(wù)信息采集分析監(jiān)控系統(tǒng)，具體涉及一種基于電力行業(yè)的云上數(shù)據(jù)發(fā)布服務(wù)兩級共享緩存分析策略。

背景技術(shù)

隨著商業(yè)智能(Business?Intelligence)技術(shù)的迅速發(fā)展，對數(shù)據(jù)倉庫(或數(shù)據(jù)集市)、查詢報表、數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)備份等技術(shù)也有了更高的要求。同時對海量高并發(fā)數(shù)據(jù)計算服務(wù)的實時性準(zhǔn)確性也有了更高需求。

發(fā)明內(nèi)容

針對上述問題，本發(fā)明提出了一種基于電力行業(yè)的云上數(shù)據(jù)發(fā)布服務(wù)兩級共享緩存分析策略，基于流處理平臺Kafka及Socket長連接推送數(shù)據(jù)，使用非關(guān)系型數(shù)據(jù)庫Redis作為一級緩存，通過Java對數(shù)據(jù)進行分析處理，使用MySQL作為二級緩存計算并推送最終數(shù)據(jù)。

本發(fā)明所采用的技術(shù)方案為：一種基于電力行業(yè)的云上數(shù)據(jù)發(fā)布服務(wù)兩級共享緩存分析策略，包括以下步驟：

S1：原始數(shù)據(jù)接入，通過業(yè)務(wù)系統(tǒng)及相關(guān)采集端進行數(shù)據(jù)采集，利用流處理平臺Kafka推送至中心服務(wù)器對數(shù)據(jù)格式進行分析處理；

S2：采用Socket連接的通信方式將數(shù)據(jù)以JSON報文格式推送至數(shù)據(jù)共享端，數(shù)據(jù)共享端得到數(shù)據(jù)后解析入非關(guān)系型數(shù)據(jù)庫Redis，通過對JSON報文格式的數(shù)據(jù)塊解析組合得到鍵值對并寫入至非關(guān)系型數(shù)據(jù)庫Redis；

S3：將非關(guān)系型數(shù)據(jù)庫Redis作為一級緩存，從非關(guān)系型數(shù)據(jù)庫Redis中抽取數(shù)據(jù)，采用異步處理即時刪除和設(shè)置鍵值對生命周期的方式，對數(shù)據(jù)進行分析處理并寫入MySQL庫中，該設(shè)置生命周期的方式為根據(jù)數(shù)據(jù)塊中的指標(biāo)編碼設(shè)置鍵值對的生命周期；

S4：根據(jù)業(yè)務(wù)邏輯不同，在MySQL庫中分為兩種分析策略：第一種為：在分析非關(guān)系型數(shù)據(jù)庫Redis數(shù)據(jù)時同時抽取MySQL庫中數(shù)據(jù)進行組合運算，并寫入至MySQL庫中；第二種為：非關(guān)系型數(shù)據(jù)庫Redis中數(shù)據(jù)即時處理并全量更新至MySQL庫中，若計算線程超時，則根據(jù)超時機制以及非關(guān)系型數(shù)據(jù)庫Redis中設(shè)置的生命周期，自動清除過期數(shù)據(jù)，釋放線程進行新一輪運算；

S5：在MySQL中根據(jù)接收端需求不同對數(shù)據(jù)進行二次分析處理并推送至各個客戶端。

進一步的，所述S1中，將業(yè)務(wù)系統(tǒng)及相關(guān)采集端采集到的數(shù)據(jù)根據(jù)相關(guān)屬性進行格式化處理后由流處理平臺Kafka推送至中心服務(wù)器。該相關(guān)屬性包括地市、類型、頻度值、統(tǒng)計方式等。

進一步的，所述S2具體為：根據(jù)心跳機制，通過Socket長連接將已格式化的數(shù)據(jù)采用JSON報文格式以數(shù)據(jù)流的方式發(fā)送，同時通過報文的校驗碼及回參保證數(shù)據(jù)的完整性，在接收報文數(shù)據(jù)之后進行解析入非關(guān)系型數(shù)據(jù)庫Redis。

進一步的，在所述S4中，從MySQL庫中預(yù)設(shè)的關(guān)系映射表中查詢指標(biāo)編碼的計算類型，若計算類型為1，則根據(jù)JSON串中的發(fā)送時間值作為時間戳抽取MySQL中時段數(shù)據(jù)，與非關(guān)系型數(shù)據(jù)庫Redis的數(shù)據(jù)組合計算后更新MySQL庫中的關(guān)系映射表數(shù)據(jù)；若計算類型為2，則根據(jù)JSON串中的發(fā)送時間值抽取非關(guān)系型數(shù)據(jù)庫Redis中時段數(shù)據(jù)進行分析計算，若計算超時則釋放線程，若鍵值對生命周期結(jié)束進行空運算并釋放線程。

有益效果：本發(fā)明與現(xiàn)有技術(shù)相比，具有以下優(yōu)點：