[發明專利]一種數據存儲方法、存儲平臺及存儲裝置

在審

• 申請號: 201910139138.2
• 申請日: 2019-02-25
• 公開（公告）號: CN109947718A
• 公開（公告）日: 2019-06-28
• 發明（設計）人: 潘森;朱力鵬;喬俊峰;周愛華;楊佩;裘洪彬;蔣靜
• 申請（專利權）人: 全球能源互聯網研究院有限公司;國家電網有限公司
• 主分類號: G06F16/172
• 分類號: G06F16/172;G06F16/13;G06F16/16
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 張樂樂

本發明公開了一種數據存儲方法、存儲平臺及存儲裝置，該數據存儲方法包括如下步驟：接入實時產生的多個數據文件，并將數據文件存入緩存區；判斷緩存區開始存儲數據文件的時間是否達到預定時間；當緩存區開始存儲數據文件的時間達到預定時間時，將緩存區中的數據文件對應的數據信息依次存入第一存儲區，形成至少一個合并文件；將各個數據文件的名稱、對應的合并文件的存儲路徑、在對應的合并文件中的起止位置數據寫入第二存儲區，形成對應的元數據；判斷緩存區中的數據文件是否都寫入第一存儲區，當數據文件都存入第一存儲區時，清空緩存區。減少了相同數據信息對應文件(從數據文件到合并文件)的數量，減少了獲取這些信息時的文件跳轉次數。

技術領域

本發明涉及數據存儲技術領域，尤其涉及到一種數據的存儲方法、存儲平臺及存儲裝置。

背景技術

隨著互聯網的不斷普及與發展，數據呈現爆炸式增長，社交網絡、電子商務等各種應用往往能產生億級、十億級甚至是百億級的小文件。以電力企業為例，每天均會產生大量的電網圖像數據，這些電網圖像數據分為多種數據類型格式，包括bmp、jpg、png、raw、tiff、gif等，而這些電網圖像等數據，一般為幾兆或更小，因而，當根據目前的存儲方法對這些數據的內容進行單獨存儲時，將最終形成海量數據文件。

而為了能夠挖掘有價值的數據，為企業決策層研究企業發展方向、發現存在的問題和決策提供基礎數據，需要對這些數據進行挖掘，即需要訪問這些海量數據文件。但是，由于對這些數據的內容進行單獨存儲形成了海量的文件，因此在實際訪問的過程中，將需要不斷地從一個文件跳轉到另一個文件，導致數據的訪問和讀取效率較為低下。

發明內容

有鑒于此，本發明實施例提供了一種數據存儲方法、存儲平臺及存儲裝置，以解決現有的海量數據文件的存儲方法會導致對這些數據文件進行訪問和讀取時，效率較為低下的問題。

根據第一方面，本發明實施例提供了一種數據存儲方法，包括如下步驟：接入實時產生的多個數據文件，并將數據文件存入緩存區；判斷緩存區開始存儲數據文件的時間是否達到預定時間；當緩存區開始存儲數據文件的時間達到預定時間時，將緩存區中的數據文件對應的數據信息依次存入第一存儲區，形成至少一個合并文件；將各個數據文件的名稱、對應的合并文件的存儲路徑、在對應的合并文件中的起止位置數據寫入第二存儲區，形成對應的元數據；判斷緩存區中的數據文件是否都寫入第一存儲區，當數據文件都存入第一存儲區時，清空緩存區。

通過將數據文件對應的數據信息依次存入第一存儲區，形成至少一個合并文件，減少了相同的數據信息對應的文件(從數據文件到合并文件)的數量，從而能夠減少需要獲取這些數據信息時的文件跳轉次數，提高訪問和讀取的效率，縮短了時間。并且，由于將各個數據文件的名稱、對應的合并文件的存儲路徑、在對應的合并文件中的起止位置數據寫入第二存儲區，形成了對應的元數據，因此，在需要獲取一指定的數據文件對應的數據信息時，可以根據數據文件的名稱在第二存儲區中找到其對應的元數據，從而找到指定的數據文件對應的合并文件的存儲路徑以及在對應的合并文件中的起止位置，快速獲取該指定的數據文件對應的數據信息，而無需遍歷所欲內容，提高了讀取效率。

此外，在接入實時產生的多個數據文件時，將其存入緩存區，并在緩存區開始存儲數據文件的時間達到預定時間時才對緩存區的數據進行合并，能夠防止在非預定時間合并文件占用計算資源，對數據文件接入速率產生影響，并且，在緩存區中的數據文件都存入第一存儲區時，清空緩存區，使高速緩存區能夠被重復利用，節約了硬件成本。

結合第一方面，在第一方面第一實施方式中，緩存區構建于一HDFS系統中，HDFS系統中還構建有HttpFS服務，接入實時產生的多個數據文件，并將數據文件存入緩存區的步驟，包括：通過HttpClient連接HttpFS服務的Rest API接口；調用Http協議中的Put方法接入實時產生的多個數據文件，并將數據文件存入緩存區。