[發明專利]基于分布式集群的數據處理方法與裝置

有效

• 申請號: 201711108861.1
• 申請日: 2017-11-11
• 公開（公告）號: CN107908476B
• 公開（公告）日: 2020-06-23
• 發明（設計）人: 賀彪;徐大青;張展國;楊迎春;李洪普;王少鵬;丁博
• 申請（專利權）人: 許繼集團有限公司;國家電網公司;許昌許繼軟件技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 鄭州睿信知識產權代理有限公司 41119
• 代理人: 吳敏

本發明涉及基于分布式集群的數據處理方法與裝置，通過在計算節點運行Region分區的鏡像實例，使得Region分區的數據訪問盡可能的本地化，緩解了用電信息采集系統的網絡資源的消耗，從而提升分布式計算集群的運算效率，削減分布式集群的建設成本和維護費用；并且優化了架構于分布式數據庫上的其他應用的響應速度。

技術領域

本發明屬于電信息采集系統數據分布式運算技術領域，具體涉及基于分布式集群的數據處理方法與裝置。

背景技術

為滿足大型電力公司集約化管理的需求，減少用電信息采集系統的運營成本，各省電力公司的用電信息采集系統一般都采取集中部署的模式，把全省的智能電表都集中接入到省電力公司總部進行統一處理，而不是分散到各個地市級電力公司。按現在各省公司的用戶規模，用電信息采集系統需要連接的智能電表數量，一般都在數百萬甚至上千萬只?？紤]到智能電表每15分鐘上送一次數據，每天將產生幾十億行記錄，1年大約會產生200TB的數據。另外，為了對設備狀態和電網運行情況進行分析和追溯，一般電表的歷史數據需要保存5-7年。對于這種高密度、長時間跨度的基礎數據進行運算和分析需要耗費大量的時間和運算資源，如何合理利用有限的運算資源、提升用電信息采集系統的運算效率是非常困難的事情。

在現有的用電信息采集系統中，數據處理主要依靠性能強大的分布式集群完成，如圖1所示，分布式集群的每個服務器節點都會部署數據節點，Region分區，計算節點。現有的分布式計算集群的計算節點通過訪問分布式數據庫的Region分區進行數據訪問。然而由于Region分區所管理的數據散布在分布式數據存儲的各個節點上；在分布式計算過程中，只有存儲于本地數據節點的數據塊可以有Region分區直接訪問，存儲在其他數據節點的數據塊需要通過網絡進行讀取。如此一來，占用了分布式集群大量的網絡IO(通信網絡)；并且，通過網絡獲取數據比從本地直接讀取數據的速度慢，從而影響分布式計算集群的運算效率；并且網絡IO的大量消耗會影響分布式集群其他業務的響應速度；隨著用電信息采集系統采集數據量的不斷增長，有限的運算資源需要經過不斷的軟硬件升級才能滿足，由此帶來的用電信息采集系統的成本投入，維護費用等也一直不斷提高。

發明內容

本發明的目的是提供一種基于分布式集群的數據處理方法與裝置，用于解決現有分布式集群中計算節點通過網絡接收其他計算節點導致的計算數據速度慢的問題，以及占用過多運算資源造成分布式集群整體運行速度慢的問題。

為解決上述技術問題，本發明提出一種基于分布式集群的數據處理方法，包括以下解決方案：

所述分布式集群至少包括兩個服務器節點，每個服務器節點均包括計算節點、分區和數據節點，包括如下步驟：

1)當有計算節點需要執行計算任務時，將該計算節點對應分區的鏡像運行到除該計算節點外的其它計算節點對應的數據節點上；

2)該計算節點通過該計算節點的對應分區讀取數據，除該計算節點外的其他計算節點通過對應分區的鏡像讀取數據；

3)所有計算節點根據各自計算節點讀取的數據進行計算，每個計算節點根據讀取的數據計算完成后，由所述需要執行計算任務的計算節點匯總所有計算節點的計算結果。

所述除該計算節點外的其它計算節點根據讀取的數據計算完成后，刪除所述對應分區的鏡像。

當所述需要執行計算任務的計算節點對應分區內的數據發生變化時，同步更新所述對應分區的鏡像。

所述對應分區的鏡像對所述除該計算節點外的其它計算節點只讀。

為解決上述技術問題，本發明還提出基于分布式集群的數據處理裝置，包括以下解決方案：

所述分布式集群至少包括兩個服務器節點，每個服務器節點均包括計算節點、分區和數據節點，包括處理器，用于實現以下步驟的指令：