[發(fā)明專利]一種實時數(shù)據(jù)庫文件存儲方法

在審

• 申請?zhí)枺?/td>: 201711398848.4
• 申請日: 2017-12-22
• 公開（公告）號: CN107967360A
• 公開（公告）日: 2018-04-27
• 發(fā)明（設(shè)計）人: 曾保權(quán);劉華生;楊琳芳;李知良
• 申請（專利權(quán)）人: 廣東雅達電子股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廣州粵高專利商標代理有限公司44102
• 代理人: 羅曉林,李捷

技術(shù)領(lǐng)域

本發(fā)明涉及文件存儲技術(shù)領(lǐng)域，尤其涉及一種實時數(shù)據(jù)庫文件存儲方法。

背景技術(shù)

數(shù)據(jù)庫的理論與技術(shù)發(fā)展極其迅速,其應(yīng)用日益廣泛,在當今的信息社會無所不在,尤其是關(guān)系數(shù)據(jù)庫在傳統(tǒng)數(shù)據(jù)領(lǐng)域的應(yīng)用。然而傳統(tǒng)數(shù)據(jù)庫必須將數(shù)據(jù)存入數(shù)據(jù)庫后再進行查找和后續(xù)的分析及數(shù)據(jù)挖掘等對數(shù)據(jù)的操作，這種特性決定了傳統(tǒng)數(shù)據(jù)庫在現(xiàn)代工程和時間關(guān)鍵性的應(yīng)用方面顯得軟弱無力。傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)更適合處理穩(wěn)定且具有長有效期的數(shù)據(jù)，強調(diào)數(shù)據(jù)的一致性和完整性，并不考慮數(shù)據(jù)及其處理的時間限制，所以傳統(tǒng)數(shù)據(jù)庫并不能完成滿足實時應(yīng)用的需要。

為了解決上述的問題，實時數(shù)據(jù)庫孕育而生，并廣泛應(yīng)用于電力、石油、化工、鋼鐵、環(huán)保等行業(yè)。實時數(shù)據(jù)庫推動信息化從傳統(tǒng)領(lǐng)域向新的領(lǐng)域擴展，向更高層次發(fā)展。這些新的領(lǐng)域包括生產(chǎn)實時監(jiān)視、電力調(diào)度、交通監(jiān)視及控制、空中交通管制、武器制導(dǎo)、實時仿真、作戰(zhàn)指揮自動化等。這些應(yīng)用有著不傳統(tǒng)應(yīng)用不同的特征：一方面需要維護的共享數(shù)據(jù)和控制數(shù)據(jù)大量增加；另一方面其任務(wù)(或事務(wù))時間性很強，要求在規(guī)定的時刻或一定的時間內(nèi)完成其處理。

現(xiàn)有實時數(shù)據(jù)庫技術(shù)中，如公告號為CN102184226A，發(fā)明名稱為“一種實時數(shù)據(jù)庫的構(gòu)建方法和數(shù)據(jù)檢索方法”的中國專利申請，其沒有采用b+樹索引結(jié)構(gòu)，而是針對時間序列數(shù)據(jù)的特征設(shè)計特定的索引結(jié)構(gòu)；又如，公告號為CN1564158A，發(fā)明名稱為“實時數(shù)據(jù)庫建模、存儲和訪問方法”的中國專利申請中采用了直接磁盤扇區(qū)讀寫方式，不需要建立索引。但是，該方法不能利用操作系統(tǒng)的文件系統(tǒng)特性，只能應(yīng)用于嵌入式系統(tǒng)。

此外，現(xiàn)有技術(shù)中的現(xiàn)代數(shù)據(jù)庫一般均使用鎖或多版本技術(shù)來實現(xiàn)并發(fā)讀寫，但是，采用鎖或多版本技術(shù)的讀寫并發(fā)程度并不是非常高。現(xiàn)有技術(shù)中，如公告號為CN103336828A，發(fā)明名稱為“實時數(shù)據(jù)庫讀取及寫入方法”的中國專利申請中提到了一種加鎖方式，可有效提高讀寫性能，但是卻不能支持多寫并發(fā)操作。

由此可知，現(xiàn)有技術(shù)中的實時數(shù)據(jù)庫的樣本數(shù)據(jù)的存儲方法中都或多或少地存在上述的一些問題，因此難以滿足對實時數(shù)據(jù)庫的樣本數(shù)據(jù)的存儲的需要。

發(fā)明內(nèi)容

為克服現(xiàn)有技術(shù)的不足及存在的問題，本發(fā)明提供一種實時數(shù)據(jù)庫文件存儲方法，該方法不僅具有快速的樣本數(shù)據(jù)讀寫速度，并可滿足快速、高效地進行存儲、檢索和壓縮的要求。

本發(fā)明是通過以下技術(shù)方案實現(xiàn)的：

一種實時數(shù)據(jù)庫文件存儲方法，所述方法包括：

所有變量數(shù)據(jù)、樣本數(shù)據(jù)、賬號數(shù)據(jù)以及SOE事件數(shù)據(jù)通過文件存儲，分別保存在變量數(shù)據(jù)文件、樣本數(shù)據(jù)文件、賬號數(shù)據(jù)文件以及SOE事件SQLite數(shù)據(jù)庫SOE事件表中；

對所述樣本數(shù)據(jù)文件進行分塊，每塊保存相同變量樣本數(shù)據(jù)，對塊建立索引，并保存到SQLite數(shù)據(jù)庫中的塊索引表中，并對塊索引表建立組合索引；

對SOE事件建立SOE事件表，保存SOE事件記錄到SQLite數(shù)據(jù)庫中的SOE事件表中，并對SOE事件表建立組合索引；

所述變量數(shù)據(jù)文件、樣本數(shù)據(jù)文件以及賬號數(shù)據(jù)文件均通過內(nèi)存映射文件的方式讀取和存儲數(shù)據(jù)。

優(yōu)選地，所述變量數(shù)據(jù)文件包括：變量數(shù)據(jù)文件頭和變量數(shù)據(jù)向量；所述變量文件頭的屬性包括：版本號、文件類型以及變量個數(shù)；所述變量數(shù)據(jù)向量由多個變量項組成，所述變量項的屬性包括變量ID、數(shù)據(jù)類型、變量類型、壓縮類型、壓縮精度、變量名稱、描述、工程單位、小數(shù)位數(shù)、有效位數(shù)、是否存盤、下限、上限、樣本偏差、最小樣本偏差時間、最大樣本偏差時間、最小壓縮時間間隔以及最大壓縮時間間隔中的任意一個屬性或任意多個屬性；所述樣本數(shù)據(jù)文件包括：樣本數(shù)據(jù)文件頭、樣本數(shù)據(jù)塊向量以及樣本數(shù)據(jù)文件尾；所述樣本數(shù)據(jù)文件頭的屬性包括版本號、文件類型以及時間戳；所述樣本數(shù)據(jù)向量由多個樣本數(shù)據(jù)塊組成，每個樣本數(shù)據(jù)塊包括變量ID、起始時間、結(jié)束時間、樣本計數(shù)以及樣本數(shù)據(jù)表；其中，以變量ID、起始時間、結(jié)束時間與樣本數(shù)據(jù)塊在文件的序號為字段建立索引表存儲到SQLite數(shù)據(jù)庫中，并對塊索引表建立組合索引。

優(yōu)選地，所述賬號數(shù)據(jù)文件包括：賬號文件頭、角色項記錄與用戶項記錄；所述賬號文件頭的屬性包括版本號、文件類型、角色個數(shù)以及用戶個數(shù)；所述角色項包括角色名稱、描述與權(quán)限；所述用戶項包括用戶名、密碼、角色名稱、描述與活動狀態(tài)。

優(yōu)選地，所述SOE事件表包括以下字段：時間戳、自動主鍵、事件類型、事件格式、參數(shù)長度、事件級別、事件來源、事件描述、事件參數(shù)、事件處理標志與事件更新狀態(tài)。