[發明專利]支持海量采集終端的分布式內存實時存儲裝置及方法

有效

• 申請號: 201310167086.2
• 申請日: 2013-05-08
• 公開（公告）號: CN103294413A
• 公開（公告）日: 2013-09-11
• 發明（設計）人: 史玉良;孔蘭菊;閆中敏;崔立真
• 申請（專利權）人: 山東地緯計算機軟件有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 鄭華清

技術領域

本發明涉及計算機領域，特別涉及一種支持海量采集終端的分布式內存實時存儲裝置及方法。

背景技術

當前我國用電信息采集已覆蓋全部專變大用戶以及部分低壓居民用戶，并通過與信息化系統共享檔案數據等信息，實現了欠費停電、預購電控制等功能。通過國家智能電網的建設，預計到“十二五”末基本實現“全覆蓋、全采集、全費控”的建設目標，使得居民用電更加智能化、供電服務更加人性化。

隨著“全覆蓋”進程的不斷推進，采集終端數量迅速增長，以山東省為例，實現“全覆蓋”后預計終端數量將達到240萬。終端數量的急速增長帶來了海量的采集數據，如何高效的處理這些數據成為了亟待解決的問題。用電信息采集過程中，采集終端上送的海量報文需經過解析后成為可讀的基本業務數據，在業務數據的基礎上開展電力業務。電力業務中，單個終端電量的統計是其它業務實現的基礎，而這一業務的實現需要將終端采集數據與終端檔案一一匹配。

當前終端檔案一般存儲于磁盤中，在終端檔案數據量不大的情況下，可基本滿足業務需求。但在海量采集終端時代來臨后，由于I/O操作的相對低速，這種存儲方式將極大的影響檔案存儲、更新及查詢的實時性。內存的數據讀寫速度較磁盤高出幾個數量級，將終端檔案存儲在內存中可有效的提升性能。不過，由于終端檔案數據量大，若存放在同一個服務器的內存中，勢必對服務器的性能要求很高，現有服務器很難滿足這種性能需求；即使勉強滿足，終端檔案的存儲也會占用大量內存，影響采集數據任務處理性能；同時，這種存儲方式難以適應終端規模的持續增長。為保證用電信息采集系統終端檔案的讀取速度及完整性，本文提出了一種分布式實時內存存儲裝置。

發明內容

本發明針對現有技術的不足，提供一種支持海量采集終端的分布式內存實時存儲裝置及方法。

為實現上述目的，本發明采用如下技術方案：

一種支持海量采集終端的分布式內存實時存儲裝置，包括主控服務器和至少一個數據服務器，所述的主控服務器與數據服務器通訊，

所述的主控服務器，其用于從系統數據庫中讀取終端檔案信息表，并將所讀取的終端檔案信息表分割成多個檔案塊，并將每個檔案塊分配到所轄數據服務器，在所述的主控服務器內存中存儲記錄了終端檔案信息表的分割情況及檔案塊存儲情況的檔案塊元數據，并提供所轄數據服務器當前負載情況查詢及比較功能；

所述的數據服務器，用于接收主控服務器分配的檔案塊，以多個檔案塊的形式將終端檔案信息表存儲在內存中，并面向電量計算任務模塊提供查詢功能，數據服務器數量設置多個并能實現動態增減。

所述主控服務器還包括以下模塊：

檔案分配模塊，用于從系統數據庫中讀取終端檔案信息表，將其分割成多個檔案塊并分配到所轄數據服務器；

檔案元數據存儲模塊，用于存儲檔案分配模塊形成的檔案塊元數據，提供基于終端編號的檔案塊位置查詢；

負載比較模塊，用于查詢所轄數據服務器當前的負載情況，在此基礎上比較所轄數據服務器的負載大小，得出負載最小的數據服務器。

所述數據服務器還包括以下模塊：

檔案管理模塊，用于接收檔案分配模塊分配的檔案塊；

檔案存儲模塊，用于存儲檔案塊的實際數據，并接受檔案查詢模塊的查詢；

檔案查詢模塊，用于提供數據服務器的負載信息以及實現終端檔案信息表的查詢，并面向電量計算任務模塊提供查詢功能。

所述的每個數據服務器的檔案管理模塊之間能相互復制。

所述的負載比較模塊能查詢數據服務器的檔案查詢模塊。

所述的負載比較模塊查詢到負載最小的服務器后，發送給電量計算任務模塊。

一種支持海量采集終端的分布式內存實時存儲裝置的存儲方法，包括以下步驟：

（1）主控服務器的檔案分配模塊根據終端檔案信息表的實際情況配置檔案塊的大小，從終端檔案信息表中按終端編號從小至大的順序讀取檔案信息，當讀入的終端檔案信息達到配置大小時，打包形成一個檔案塊；因此檔案塊元數據的檔案表分割情況中只需記錄第一個及最后一個存入該檔案塊的終端編號，減小了檔案塊元數據所占用的內存；

（2）為保證檔案數據的高可靠性，為每個檔案塊設置n（n為自然數，且n≥3）個副本；檔案分配模塊的分配方式是將一個檔案塊分配到n個不同的數據服務器進行存儲，并保證其n個不同的數據服務器中位于不同的機架上；

（3）將檔案塊元數據寫入檔案元數據存儲模塊，將檔案的實際數據寫入分配的數據服務器中；