[發明專利]過程控制歷史數據文件結構的建立方法和數據讀寫方法

有效

• 申請號: 200910197024.X
• 申請日: 2009-10-13
• 公開（公告）號: CN102043795A
• 公開（公告）日: 2011-05-04
• 發明（設計）人: 周林榮;劉偉;鄒澤明;田春偉;李培植
• 申請（專利權）人: 上海新華控制技術(集團)有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海智信專利代理有限公司 31002
• 代理人: 薛琦;朱水平

技術領域

本發明涉及過程控制技術領域，特別是涉及一種過程控制歷史數據文件結構的建立方法和數據讀寫方法。

背景技術

過程控制在流程行業應用廣泛，包括：電力、石化、冶金、污水處理、水泥、化工、軌道交通等領域。比如對于鍋爐來說，需要采集其不同部位測點的液位、溫度和壓力，或者管道的流量等參數。

流程行業屬于24小時連續運行，隨著時間的推移，采集的數據量越來越大，只能用TB級來計量。在歷史數據查詢，問題追溯，數據分析時需要從這些日積月累的數據中快速讀取數據。

現在歷史數據的處理方法一般為：采用及時讀取，死區限制的方式對數據進行壓縮；然后采用順序寫入的方法對數據進行記錄，并采用單向鏈表的形式對前后數據進行鏈接，寫入數據采用周期性寫入數據，每次寫入的數據時間長度不固定；在讀取歷史數據時，采用從單個文件頭開始順序搜索的方式，直到找到所需數據位置。這種數據處理方法數據壓縮方法簡單，數據壓縮率低，占用磁盤空間大；采用單向鏈表的文件存儲結構，導致只能采用順序搜索的方式進行數據讀取，大部分時間都浪費在無效數據的遍歷上，導致數據讀取速度慢。

發明內容

本發明要解決的技術問題是為了克服現有技術數據壓縮率低，占用磁盤空間大，數據讀取速度慢的缺陷，提供一種節約磁盤空間，提高數據讀取速度的過程控制歷史數據文件結構的建立方法和數據讀寫方法。

本發明是通過下述技術方案來解決上述技術問題的：

一種過程控制歷史數據文件結構的建立方法，其特點在于，其包括以下步驟：

S₁、建立文件頭，在文件頭中寫入文件標識信息；

S₂、建立索引區，將索引區劃分為測點描述區和數據地址區，其中測點描述區存儲有測點唯一數字標識、數據區起始地址和數據區長度，數據地址區中的數據地址是歷史數據每次寫入固定時間長度數據時在歷史數據文件中的起始地址；

S₃、建立數據區，用于保存寫入的測點歷史數據，其中每個測點的所有數據都存放在至少一塊連續存儲區域上。

較佳地，索引區為測點建立索引，以所述測點唯一數字標識為索引關鍵字，測點按該索引關鍵字以升序或降序排列。

較佳地，步驟S₂中所述的測點描述區還存儲有測點名稱、采集周期信息。

本發明提供的另一技術方案為：一種過程控制歷史數據的存儲方法，其特點在于，其包括以下步驟：

T₁、如權利要求1的方法建立歷史數據文件；

T₂、搜索索引區，根據所述測點唯一數字標識，找到需要寫入數據的測點所在的索引位置，獲取測點所在索引區信息；

T₃、根據測點所在索引區信息，獲取數據寫入地址，在數據寫入地址處寫入數據。

較佳地，在步驟T₃中，當前數據寫入的結束地址，作為該測點下一次數據寫入的起始地址。

較佳地，在步驟T₂中，找到需要寫入數據的測點所在的索引位置時采用二分查找法、分塊查找法或順序查找法。

較佳地，在步驟T₃中，數據采用塊寫入的方式，一次將測點需要寫入的數據全部寫入。

較佳地，在寫入數據之前對數據進行壓縮，數據壓縮過程包括以下步驟：

T₃₁、死區濾波：計算當前采集值與上次采集值的偏差，如果偏差絕對值在死區范圍內，則取上次采集值，其中該死區為一預設的數值范圍；

T₃₂、斜率壓縮：將前后采集周期的數據變化等效于直線的斜率y-y₀＝k(t-t₀)，其中y為采集數據值，y₀為初始采集數據值，k為斜率，t為采集數據值y對應的采集時間點，t₀為y₀對應的采集時間點；如果采集數據值的變化處于同一直線上，那么用初始值(t₀，y₀)和斜率k即可表示直線上的所有數據，只要輸入時間參數t，即可計算出對應值y。

較佳地，在步驟T₃₂之后還包括一步驟T₃₃、類曲線擬合壓縮：在前后相同時間段內，如果數據變化規律一致，則直接采用指針指向前一時間段數據，保留數據初值，數據長度不增加。

本發明提供的又一技術方案為：一種過程控制歷史數據的查詢方法，其特征在于，該方法用于查詢如權利要求1的方法建立的歷史數據文件，其包括以下步驟：