[發明專利]一種面向實時數據庫的實時文件系統數據組織管理方法

在審

• 申請號: 201310692742.0
• 申請日: 2013-12-18
• 公開（公告）號: CN104731779A
• 公開（公告）日: 2015-06-24
• 發明（設計）人: 徐新國;康衛;李林;朱廷劭
• 申請（專利權）人: 中國電子信息產業集團有限公司第六研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 無
• 代理人: 無

技術領域

本發明涉及實時數據庫技術和實時文件系統技術，特別是指一種針對實時數據庫的實時文件系統數據組織管理的方法。

背景技術

實時數據庫是數據庫技術與實時系統結合的產物。實時數據庫在流程行業(石化，電力，鋼鐵)有著廣泛的應用。它可用于生產過程的自動采集、存儲和監視，也可在線存儲每個工藝采樣點的多年數據，是企業MES的核心。實時數據庫的最主要特征就是其數據和任務具有顯式定時限制，但是由于實時數據庫主要應用于流程行業，而流程行業通常采樣點數規模比較大，要求實時性的同時也要求完成大規模歸檔數據的存儲和檢索，以便以后分析和事故追憶，因此實時數據庫如何高效地對所要存儲的數據進行有效的組織管理，就成了決定實時數據庫性能好壞的關鍵因素。

目前的實時數據庫產品，在歷史數據組織管理上，存在諸多問題，主要體現在底層采用通用的文件系統，如ext4、FAT32等，而大多數通用文件系統采用層次結構和目錄索引機制，這種分級機制在文件分類管理、文件數目的動態增減、文件數據的動態增長方面有著高效的性能，但是在特定的應用需求下，如存儲管理以點為單元的大規模工業數據時，則會限制系統的性能。

將歸檔數據建立在普通文件系統之上，除了建立歸檔數據本身的數據索引信息外，還需要在文件系統層上建立和維護文件系統本身的目錄、文件之間的索引關系。隨著采集點規模的增大，單位時間內數據的增多，將會給數據庫系統帶來很大的時延。歸檔數據具有較明顯的時間序列性和以點為單位的獨立性，可以利用這一特征，將實時數據庫中數據的歸檔管理與文件系統中數據的管理結合起來，減少數據索引建立的次數和時間，滿足實時數據庫能夠及時的將歸檔數據寫入到磁盤上的要求，同時，也能夠消除原來文件系統的一些限制，如目錄數、文件數、文件大小的限制等。

發明內容

有鑒于此，本發明的主要目的在于提供一種面向實時數據庫的實時文件系統數據組織管理的方法，該方法采用了數據庫和文件系統融合的技術，所述的數據庫和文件系統融合技術是指將實時數據庫中歸檔數據的索引方式和文件系統中數據的索引方式融合在一起，即在文件系統中實現歷史數據的組織和管理。所述的數據組織管理方法按照工業采樣批次的時間信息來存取歸檔數據，保證了大規模工業采集數據的高速寫入。

所述的數據組織管理的方法是按照時間段-點-時間段來管理數據，如圖1所示。主要包括以下6方面的內容：按照不同時間段組織數據，結合點索引，結構化的數據塊，索引數據與磁盤的累計數據量沒有關系，數據順序存儲和數據索引方式。

所述的按照不同時間段組織數據，是指工業數據含有較強的時間信息，同時這些數據不斷的按照時間序列寫入到磁盤上，因此將數據的時間信息分為不同的時間段，按照時間段來組織管理數據，采用時間作為索引，時間段與普通文件系統中的目錄類似，在查找數據時，首先選中目標時間段，然后在目標時間段內查詢數據，從而減少數據查詢時間。

所述的結合點索引，是指在時間段與時間段之間，加入點索引信息，使得原來在兩個不同的時間段之間同一個點的數據通過點索引信息的存在連接起來，便于在數據塊間逆向遍歷查詢。

所述的結構化的數據塊，是指在常規的文件系統中，數據是被上一層索引所管理，其地址信息記錄在上一層索引中。在本發明中，由于每一個點在一個時間段內的數據量比較小，同時每一個點的數據相對于這個時間段而言，這些數據類似碎文件。如果管理這么多碎文件，會占用很大的磁盤空間，同時預留的空間會帶來很多磁盤碎片。因此我們在數據塊中做了一次索引記錄，這樣，在整個磁盤使用過程中，不會造成磁盤碎片。

所述的索引數據與磁盤的累計數據量沒有關系，是指在索引某點的數據時，與該點的累計數據量無關，與該點在某個時間段內的數據量有關，而在這個相關的時間段內，該點的數據規模是很小的，在索引時，對內存的壓力小，因此，在索引多個點同一時刻的數據時，也不會造成系統崩潰。

所述的數據順序存儲，是指實時數據庫中的歸檔數據按照時間順序不斷的寫入數據庫，如果采用常規文件系統，需要不斷的移動磁頭，來維護數據文件的索引信息。而本發明將同一批歸檔數據順序寫入磁盤，減少磁頭的移動和尋找合適磁道的時間，同時也能夠減少系統調用的時間。