[發明專利]一種基于HDF5的分塊式數據存儲及讀取方法

有效

• 申請號: 201811439672.7
• 申請日: 2018-11-29
• 公開（公告）號: CN109597575B
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 王廣紅;黃連生;高格;傅鵬;何詩英;王澤京
• 申請（專利權）人: 中國科學院合肥物質科學研究院
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 安徽合肥華信知識產權代理有限公司 34112
• 代理人: 宋仔娟

本發明公開了一種基于HDF5的分塊式數據存儲及讀取方法，運行于Linux操作系統，使用HDF5分層數據格式，設計復合數據類型的分塊屬性數據集，對一次放電時間按照1s的長度進行分割，進行分塊式存儲與讀取，以實現實時數據存儲與數據讀取；使用HDF5的可視化工具Hdfview查看存儲的數據及屬性，Qt讀取HDF5文件，并進行波形顯示與分析。本發明將分層數據格式HDF5應用于存儲和管理數據的模型中，其數據存儲規模可以無限大，具有可移植性。

技術領域

本發明涉及電源的數據存儲與讀取，具體是一種基于HDF5的分塊式數據存儲及讀取方法。

背景技術

EAST（Experimental Advanced Super-conducting Tokamak）超導托卡馬克聚變實驗裝置是國家九五重大科學工程，極向場電源系統是EAST裝置的核心子系統之一，它為等離子體的產生、約束、維持、加熱、以及等離子體電流、位置、形狀的控制，提供必要的工程基礎和控制手段。極向場電源系統由12套電源組成，每套電源主要有AC/DC整流器、晶閘管開關網絡、失超保護系統、隔離開關組成。

目前極向場電源系統沒有獨立的數據存儲與顯示系統，而極向場在EAST裝置中有著非常重要的作用，所以需研制一套適合極向場電源的數據存儲與顯示。極向場電源系統有接近200道信號，每個信號按照4個字節計算，數據采集頻率為10KHz，放電時長為100s時的總數據量為800MB，放電時長為1000s時的數據量為8GB。如此龐大的數據量，并且具有脈沖特性的信號存儲，關系數據庫或者非關系數據庫等不能滿足需求，而MDSplus和HDF5都是存儲長脈沖大數據的數據庫，國際熱核聚變ITER(International ThermonuclearExperimental Reactor)使用HDF5存儲數據，為了與國際接軌，我們也將使用HDF5存儲EAST極向場電源系統的所有數據。

分層數據格式HDF5實現了一種用于存儲和管理數據的模型。HDF5旨在為諸如地球科學和氣象學等領域提供通用數據格式。HDF5數據以分級格式存儲，并且數據模型支持各種各樣的數據類型和數據空間組織。HDF5提供Java、C和FORTRAN數據訪問庫，本文使用C接口庫。數據存儲規模可以無限大，具有可移植性，HDF5庫沒有限制存儲數據文件大小，數據文件的內部組織結構可以任意復雜。HDF5庫數據模型具有簡單、通用的特點。HDF5文件包含兩個主要結構：組（group）和數據集（dataset）。為了方便數據的組織，HDF5文件通過組的方式組織成樹狀結構，每個組都是樹的節點。分組結構包含零個或多個組或數據集的實例。每一個數據集包含兩部分的數據，元數據（Metadata）和多維數組（Data）。其中元數據包含多維數組相關的信息，比如維度信息、數據類型、屬性等，而多維數組則包含數據本身。

發明內容

本發明是為了完善EAST極向場電源系統，提供一種基于HDF5的分塊式數據存儲及讀取方法。

本發明是通過以下技術方案實現的：

一種基于HDF5的分塊式數據存儲及讀取方法，其特征在于包括以下步驟：

（1）當放電開始時，創建HDF5文件，創建數據空間，設置分塊屬性，創建復合數據類型，使用所述分塊屬性和復合數據類型創建數據集；

（2）將一次放電時長按照1s的長度進行分割，循環存儲數據，存儲線程記當前存儲的數據為第N塊，接收數據線程根據TCP協議接收數據并存儲到緩存中，當1s數據搜集完成時，存儲線程將第N塊數據寫入到HDF5文件，接收數據線程則開始搜集第N+1塊的數據，讀取線程打開HDF5文件，打開數據集，獲取數據空間，獲取數據集維度，獲取數據類型，然后等待存儲線程發送的標志位；

（3）當第N塊數據寫完成后，存儲線程發送標志位以及塊索引號到讀取線程，讀取線程獲取第N塊數據集屬性，并根據塊索引號選擇第N塊，實現實時數據讀取；