[發明專利]一種數據存儲方法、存儲平臺及存儲裝置

在審

• 申請號: 201910139138.2
• 申請日: 2019-02-25
• 公開（公告）號: CN109947718A
• 公開（公告）日: 2019-06-28
• 發明（設計）人: 潘森;朱力鵬;喬俊峰;周愛華;楊佩;裘洪彬;蔣靜
• 申請（專利權）人: 全球能源互聯網研究院有限公司;國家電網有限公司
• 主分類號: G06F16/172
• 分類號: G06F16/172;G06F16/13;G06F16/16
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 張樂樂

1.一種數據存儲方法，其特征在于，包括如下步驟：

接入實時產生的多個數據文件，并將所述數據文件存入緩存區；

判斷所述緩存區開始存儲數據文件的時間是否達到預定時間；

當所述緩存區開始存儲數據文件的時間達到預定時間時，將所述緩存區中的數據文件對應的數據信息依次存入第一存儲區，形成至少一個合并文件；

將各個所述數據文件的名稱、對應的合并文件的存儲路徑、在所述對應的合并文件中的起止位置數據寫入第二存儲區，形成對應的元數據；

判斷所述緩存區中的數據文件是否都寫入所述第一存儲區，當所述數據文件都存入所述第一存儲區時，清空所述緩存區。

2.根據權利要求1所述的數據存儲方法，其特征在于，所述緩存區構建于一HDFS系統中，所述HDFS系統中還構建有HttpFS服務，所述接入實時產生的多個數據文件，并將所述數據文件存入緩存區的步驟，包括：

通過HttpClient連接所述HttpFS服務的Rest API接口；

調用Http協議中的Put方法接入實時產生的多個數據文件，并將所述數據文件存入所述緩存區。

3.根據權利要求2所述的數據存儲方法，其特征在于，所述第一存儲區構建于所述HDFS系統中，所述合并文件為SequenceFile文件；和/或

所述第二存儲區采用列式存儲系統。

4.根據權利要求1所述的數據存儲方法，其特征在于，所述數據文件小于20M。

5.一種數據存儲平臺，其特征在于，包括：

緩存區，用以接入和存儲實時產生的多個數據文件；

第一存儲區，用以存儲所述實時產生的多個數據文件合并形成的至少一個合并文件；所述合并文件包括所述緩存區中的至少一個數據文件對應的數據信息；

第二存儲區，用以存儲由各個所述數據文件的名稱、對應的合并文件的存儲路徑、在所述對應的合并文件中的起止位置數據形成的對應的元數據。

6.根據權利要求5所述的數據存儲平臺，其特征在于，所述緩存區和所述第一存儲區均構建于一HDFS系統中，所述HDFS系統中構建有HttpFS服務。

7.根據權利要求5所述的數據存儲平臺，其特征在于，所述第二存儲區采用列式存儲系統。

8.一種數據存儲裝置，其特征在于，包括：

數據接入模塊，用于接入實時產生的多個數據文件，并將所述數據文件存入緩存區；

時間判斷模塊，用于判斷所述緩存區開始存儲數據文件的時間是否達到預定時間；

第一存儲模塊，用于當所述緩存區開始存儲數據文件的時間達到預定時間時，將所述緩存區中的數據文件對應的數據信息依次存入第一存儲區，形成至少一個合并文件；

第二存儲模塊，用于將各個所述數據文件的名稱、對應的合并文件的存儲路徑、在所述對應的合并文件中的起止位置數據寫入第二存儲區，形成對應的元數據；

數據清空模塊，用于判斷所述緩存區中的數據文件是否都寫入所述第一存儲區，當所述數據文件都存入所述第一存儲區時，清空所述緩存區。

9.一種電子設備，其特征在于，包括：存儲器和處理器，所述存儲器和所述處理器之間互相通信連接，所述存儲器中存儲有計算機指令，所述處理器通過執行所述計算機指令，從而執行權利要求1-4任一項所述的數據存儲方法。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有計算機指令，所述計算機指令用于使所述計算機執行權利要求1-4任一項所述的數據存儲方法。