[發明專利]一種實時數據庫文件存儲方法

在審

• 申請號: 201711398848.4
• 申請日: 2017-12-22
• 公開（公告）號: CN107967360A
• 公開（公告）日: 2018-04-27
• 發明（設計）人: 曾保權;劉華生;楊琳芳;李知良
• 申請（專利權）人: 廣東雅達電子股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廣州粵高專利商標代理有限公司44102
• 代理人: 羅曉林,李捷

1.一種實時數據庫文件存儲方法，其特征在于，所述方法包括：

所有變量數據、樣本數據、賬號數據以及SOE事件數據通過文件存儲，分別保存在變量數據文件、樣本數據文件、賬號數據文件以及SOE事件SQLite數據庫SOE事件表中；

對所述樣本數據文件進行分塊，每塊保存相同變量樣本數據，對塊建立索引，并保存到SQLite數據庫中的塊索引表中，并對塊索引表建立組合索引；

對SOE事件建立SOE事件表，保存SOE事件記錄到SQLite數據庫中的SOE事件表中，并對SOE事件表建立組合索引；

所述變量數據文件、樣本數據文件以及賬號數據文件均通過內存映射文件的方式讀取和存儲數據。

2.根據權利要求1所述的方法，其特征在于，所述變量數據文件包括：變量數據文件頭和變量數據向量；所述變量文件頭的屬性包括：版本號、文件類型以及變量個數；所述變量數據向量由多個變量項組成，所述變量項的屬性包括變量ID、數據類型、變量類型、壓縮類型、壓縮精度、變量名稱、描述、工程單位、小數位數、有效位數、是否存盤、下限、上限、樣本偏差、最小樣本偏差時間、最大樣本偏差時間、最小壓縮時間間隔以及最大壓縮時間間隔中的任意一個屬性或任意多個屬性。

3.根據權利要求1所述的方法，其特征在于，所述樣本數據文件包括：樣本數據文件頭、樣本數據塊向量以及樣本數據文件尾；

所述樣本數據文件頭的屬性包括版本號、文件類型以及時間戳；

所述樣本數據向量由多個樣本數據塊組成，每個樣本數據塊包括變量ID、起始時間、結束時間、樣本計數以及樣本數據表；其中，以變量ID、起始時間、結束時間與樣本數據塊在文件的序號為字段建立索引表存儲到SQLite數據庫中，并對塊索引表建立組合索引。

4.根據權利要求1所述的方法，其特征在于，所述賬號數據文件包括：賬號文件頭、角色項記錄與用戶項記錄；

所述賬號文件頭的屬性包括版本號、文件類型、角色個數以及用戶個數；所述角色項包括角色名稱、描述與權限；所述用戶項包括用戶名、密碼、角色名稱、描述與活動狀態。

5.根據權利要求1所述的方法，其特征在于，所述SOE事件表包括以下字段：時間戳、自動主鍵、事件類型、事件格式、參數長度、事件級別、事件來源、事件描述、事件參數、事件處理標志與事件更新狀態。

6.根據權利要求1～5中任意一項所述的方法，其特征在于，所述樣本數據的存儲步驟為：

S100、實時數據庫服務器接收到現場數據接口的樣本數據，使用具體變量的樣本偏差處理，對需要寫入的實時數據庫的樣本數據進行篩選；

S200、使用具體變量的有損分段線性壓縮處理，對需要寫入實時數據庫的樣本偏差篩選后的樣本數據進行有損壓縮；

S300、使用無損壓縮樣本數據歸檔，對需要寫入實時數據庫的分段線性壓縮后樣本數據進行無損壓縮，并進行最終樣本數據存檔。

7.根據權利要求6所述的方法，其特征在于：所述步驟S300中，對通過所述樣本偏差處理和所述有損分段線性壓縮處理后樣本數據，保存在樣本數據隊列和寫入日志內存映射文件進行存檔。

8.根據權利要求7所述的方法，其特征在于：所述樣本數據寫入日志內存映射文件存檔后，強制系統將修改過的數據部分或全部重新寫入磁盤映像的日志文件中；所述樣本數據保存在樣本數據隊列后，當樣本數據隊列的樣本數據大于64條時，將最先儲存的64條樣本數據保存在樣本數據內存映射文件中，并強制系統將修改過的數據部分或全部重新寫入磁盤映像的樣本數據文件中，從而可確保所有的數據更新能及時保存到磁盤，防止數據丟失。

9.根據權利要求8所述的方法，其特征在于：所述處理后的樣本數據還通過SOE事件判斷處理，當處理后的樣本數據不在具體變量的上限與下限范圍內，則組織SOE事件記錄，并存儲SOE事件記錄到SQLite數據庫中的SOE事件中，且對SOE事件建立組合索引。

10.根據權利要求9所述的方法，其特征在于：所述具體變量的有損分段線性壓縮處理與SOE事件判斷處理所需要的具體變量數據通過從變量數據內存映射文件中讀取具體變量數據；變量數據內存映射文件與變量數據文件進行磁盤映射；讀取具體變量數據需要變量相對位置數據，所述變量相對位置數據通過系統服務器啟動加載，或者通過客戶端導入變量時追加具體的變量相對位置數據導入。