[發明專利]一種電力系統實時數據庫內存管理方法

在審

• 申請號: 201110286144.4
• 申請日: 2011-09-24
• 公開（公告）號: CN103020077A
• 公開（公告）日: 2013-04-03
• 發明（設計）人: 周淳;陳靜
• 申請（專利權）人: 國家電網公司;江蘇瑞中數據股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 南京知識律師事務所 32207
• 代理人: 汪旭東

技術領域

本發明屬于實時數據庫領域，尤其是電力系統的數據量極為龐大的實時數據庫的內存管理方法。

背景技術

實時數據庫是數據庫技術結合實時處理技術產生的，在電力系統領域，隨著調度自動化水平的不斷提高以及計算機監控系統的不斷發展，系統采集的數據規模越來越大。實時數據庫管理系統不僅需要實時存儲海量的采集數據，而且需要為企業的生產管理和調度、數據分析、決策支持提供多種數據管理功能。針對電力系統這一特定應用場景，實時數據庫需要滿足電力系統海量信息存儲的需求，實時處理性能，在普通PC機上的數據提交吞吐率能達到每秒百萬事件以上，需要充分挖掘現代處理器技術、操作系統技術、存儲器技術和網絡通訊技術的潛力。本發明主要研究實時數據庫的內存管理技術，使實時數據庫的數據處理能力能夠達到每秒百萬事件以上，結合虛擬內存和堆空間內存管理方法的優點，通過這種特殊的內存管理方法，實時數據庫能夠合理地分配和使用內存資源，提高計算機資源的利用率。

發明內容

本發明的目的是提出一種虛擬內存和堆空間內存管理方法，該方法針對電力系統海量、實時、高頻的數據地采集、處理并及時作出正確響應的特定需求，保證了實時數據庫數據的高效存儲和檢索。

本發明所要解決的技術問題是：內存與海量實時數據的矛盾，提供一種實時數據庫虛擬內存管理技術方法，實現分布式實時數據庫的高效存儲和檢索。

本發明技術方案如下：

步驟1、訪問數據，虛擬內存管理機制首先判斷數據所在的內存塊是否在內存中，在內存中，進入步驟2；不在內存中，進入步驟3；

步驟2、直接通過內存地址進行訪問；

步驟3、判斷數據是否在磁盤文件中，在磁盤文件中進入步驟4；不在磁盤文件中，訪問違例；

步驟4、在磁盤文件中，先把磁盤中數據塊加載到內存，然后再進行訪問。

引用堆空間內存管理，主要包括以下步驟：1）一次申請比較大的內存塊；（2）對小內存的申請在大的內存塊中進行預分配；3）對不用的內存進行回收。

本發明方法的有益效果是，能夠針對特定的應用場景對內存進行合理分配，把要處理的海量數據文件進行分塊，只把需要的那部分數據放入內存，大大減少了內存的壓力；同時對臨時小量數據的內存也進行分塊管理并且通過預分配機制使計算機的物理內存得到充分的利用。

附圖說明

圖1?實時數據庫虛擬內存機制。

圖2?實時數據庫堆空間管理機制。

圖3為實時數據庫通過虛擬內存管理訪問數據的流程。

具體實施方式

下面說明本發明的優選實施例。

把磁盤中的文件按一定的大小塊進行劃分，在需要利用某一塊磁盤空間的時候，通過內存映射的方式映射到內存中，并且按照實時數據庫的虛擬內存管理機制對映射到內存中的塊進行管理，如果內存中的映射塊超過設定的上限，可以按照一定的算法比如最近最久未使用算法將空閑的數據塊換出到磁盤以得到更多空閑內存供使用。

1.??對持久化數據的內存管理方案：

技術方案所依據的原理?:?win32訪問虛擬內存時的處理流程

????當數據已經在物理內存中時，虛擬內存管理器只需將指向該數據的虛擬地址映射為物理地址指針，即可訪問到物理內存中的真正數據。這不涉及磁盤IO，速度快。

當第一次訪問一段剛剛提交的內存中的數據時，因為并沒有真正的物理內存分配給它。

或者該數據以前已被訪問過，但被虛擬內存管理器置換出了內存。此時會引發缺頁錯誤，虛擬內存管理器會先檢測此數據是否在調頁文件中已有備份空間，有的話，就在物理內存中找到合適的頁，并將存放在磁盤的備份數據置換進物理內存。

?????虛擬內存管理器首先檢查當前物理內存是否有空閑頁，如果有，直接使用，否則，根據調頁算法首先選出某個頁，檢查此頁狀態，如果此頁自上次調入尚未被修改，則直接使用，否則要先將此頁內容寫道調頁文件中與此頁相對應的備份頁中，并將此頁標為空閑頁。

????此時，有了一個空閑頁可以使用，虛擬內存管理器會再次檢測，此數據是否剛被申請且第一次訪問，直接清0，不是的話，需要將調頁文件中該頁的備份頁讀入，并將此頁改為活動頁。此時數據已在物理內存中，通過虛擬地址映射，可以直接訪問。