[發明專利]高可靠性的實時/歷史數據庫數據保護方法

有效

• 申請號: 201110367211.5
• 申請日: 2011-11-17
• 公開（公告）號: CN102521256A
• 公開（公告）日: 2012-06-27
• 發明（設計）人: 周伊琳;陳炯聰;簡懷兵;黃縉華;孫建偉;胡亞平;陳揚
• 申請（專利權）人: 廣東電網公司電力科學研究院;廣州執舟軟件有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廣州知友專利商標代理有限公司 44104
• 代理人: 周克佑

技術領域

本發明涉及一種數據庫數據的處理方法，具體來說涉及一種高可靠性的實時/歷史數據庫數據保護方法。

背景技術

實時/歷史數據庫系統在國內很多基礎行業有著十分廣泛的應用，比如電力、典型、化工、鋼鐵和高鐵等對流程狀態數據要求較高的行業內，實時/歷史數據庫都擔負著十分重要的角色。

受傳統數據庫管理系統的影響，目前大多數實時/歷史數據庫系統遵循傳統的數據管理模式：為大量的最終數據建立索引系統并將數據壓縮存儲到數據文件中；而數據查詢和回取時都按照如下一系列過程：客戶端提交查詢請求、服務軟件從索引系統中找到對應數據的位置(數據文件、偏移、數據類型和數據大小)、從對應的位置中讀取壓縮數據、解壓讀取到的壓縮數據、篩選并將滿足請求的數據記錄發送給提交請求的客戶端。

因此，目前大多數實時/歷史數據庫的數據寫入和查詢都是先修改或者查詢索引信息系統，然后一次性訪問目標數據。這其中就存在一個問題，如果一個存儲了大量數據的索引系統由于某種原因被損壞，一種可能是存儲了很久的在線數據變成了孤立的數據文件，無法訪問；另外，即便現行的一些實時/歷史數據庫產品能夠找回孤立的數據文件中的數據，但是操作的過程十分冗長緩慢，有的甚至需要原軟件開發人員進行耗時的測試嘗試。

可以看到，在實時/歷史數據庫系統應用越來越廣泛的今天，如何提升規模量龐大的實時/歷史數據庫的數據安全問題變得十分迫切。本實用新型的重點就是涉及和提供一種高可靠性的實時/歷史數據庫數據保護技術。

發明內容

本發明的目的在于提供一種高可靠性的實時/歷史數據庫數據保護方法，本方法能夠保護實時/歷史數據庫系統中數據的安全，降低由于數據丟失或者索引系統損壞帶來的損失，提升了實時/歷史數據庫系統中管理的常年在線數據的安全性、可靠性和完整性。

本發明的目的可通過以下的技術措施來實現：

一種高可靠性的實時/歷史數據庫數據保護方法，包括如下內容：

A、寫數據請求處理過程：

A1)、根據數據庫配置指定的點標簽容量總數，初始化數據庫子索引系統、數據庫受限訪問子索引系統，為這兩個子索引系統申請相應的存儲空間，根據點標簽構造相應的哈希結構樹，為每個點標簽的時間記錄建立檢索索引；

A2)、由數據提交客戶端對數據庫發起提交實時數據的請求；

A3)、數據庫接收到提交實時數據請求的請求包后，首先對請求包進行解析，分離出實時數據記錄數組，然后對該記錄數組進行數據壓縮并得到壓縮數據，另外同時從請求包中解析出數據關聯的點標簽ID，根據點標簽ID獲取該ID最新的記錄在子索引系統中寫入索引信息，所述索引信息的內容包括該點標簽ID最新記錄存儲所在的目標壓縮文件的文件ID；

A4)、在壓縮文件中分別進行三個操作：首先，第一個操作是在壓縮文件內建立壓縮文件內部索引信息；第二個操作是將步驟A3)得到的壓縮數據寫入到壓縮數據段空間的最新寫入位置；第三個操作是在元文件信息空間建立提供給數據庫子索引系統進行反向構建的元文件信息，所述元文件信息的信息項包括：寫入點標簽，寫入壓縮文件ID，寫入文件偏移，寫入文件數據大小；三個步驟全部被成功后進入下一步，否則宣告失敗，退出本方法的處理過程；

A5)、根據步驟A4)產生的內部元文件信息來構造數據庫系統受限訪問子索引系統中需要的索引項；如果數據庫中配置了不需要數據庫提供應用受限訪問功能，則結束本方法處理過程；否則，進入下一步；

A6)、判斷當前寫入的數據時間范圍是否在受限訪問的允許訪問時間范圍列表內，如果是，則將當前寫入數據的索引信息加入到受限訪問子索引系統中，并結束本方法處理過程；否則，直接結束本方法處理過程；

B、從一個或者多個實時/歷史數據庫在壓縮文件中建立子索引系統的處理過程：

B1)、備份現有數據庫子索引系統相應的物理索引文件；

B2)、根據數據庫配置指定的點標簽容量總數，初始化數據庫子索引系統，為子索引系統申請相應的存儲空間，根據點標簽構造相應的哈希結構樹，為每個點標簽的時間記錄建立檢索索引；

B3)、枚舉檢索歸檔的壓縮文件所在的文件夾，按照壓縮文件的序號從小到大，枚舉出全部的壓縮文件的列表，依次讀取每個壓縮文件的內部信息進行反向建立索引處理；

B4)、對步驟B3)枚舉出來的每個壓縮文件，首先裝載壓縮文件的內部索引信息和元文件信息到內存，根據內部索引信息中的壓縮數據塊文件偏移和壓縮數據塊大小，遍歷當前壓縮文件中所有的壓縮數據塊；