[發明專利]分布式數據存儲系統

有效

• 申請號: 202011125401.1
• 申請日: 2020-10-20
• 公開（公告）號: CN112148800B
• 公開（公告）日: 2021-04-27
• 發明（設計）人: 岳國軍;李頤
• 申請（專利權）人: 北京天華星航科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/957
• 代理公司: 北京鍾維聯合知識產權代理有限公司 11579
• 代理人: 丁慧玲

本發明涉及一種分布式數據存儲系統，包括處理器和存儲有計算機程序的存儲器，n組容器文件CF＝{CF₁，CF₂，......，CF_n}，當所述計算機程序被處理器執行時，實現以下步驟：步驟S100、獲取待存儲的文件大小Fsize0。步驟S200、將Fsize0與預設的文件大小閾值Q相比較，若Fsize0＝Q，則根據Fsize0從所述CF中選擇目標容器文件組CF_xy，將所述待存儲的文件存儲到CF_xy中；步驟S300、獲取CF_xy的剩余存儲空間，若所述CF_xy的剩余存儲空間為0，則將CF_xy作為一個文件進行分布式存儲，釋放所述CF_xy的存儲空間。本發明提高了具有低頻訪問特點的小文件的存儲效率。

技術領域

本發明涉及計算機技術領域，尤其涉及一種分布式數據存儲系統。

背景技術

人工智能、物聯網、傳感器網絡、科學實驗等應用中均會產生大量數據，這些數據種類繁多，大小不一，不僅包括海量的大文件(大于預設的文件大小閾值Q)，也包括海量的小文件(小于預設的文件大小閾值Q)。特別是小文件的數量將達到千萬級、億級甚至十億、百億級。海量小文件體量龐大，但目前的分布式文件系統大都是匹配大文件場景的，對于海量小文件情況下，存儲處理性能極差。

文件存儲系統用于進行文件的讀和寫。分布式文件存儲系統中，小文件如何進行讀和寫的優化，一直是研究的熱點。但是現有的用于小文件存儲的文件存儲系統通常是兼顧文件的讀和寫的性能設計。但是，對于具有低頻訪問特點的小文件的存儲，應該關注寫性能，而不需要同時兼顧讀性能，若同時兼顧兩者，會導致文件存儲效率低。因此，如何提高具有低頻訪問特點的小文件的存儲效率成為亟待解決的技術問題。

發明內容

本發明目的在于，提供一種分布式數據存儲系統，提高了具有低頻訪問特點的小文件的存儲效率。

本發明提供了一種分布式數據存儲系統，包括處理器和存儲有計算機程序的存儲器，n組容器文件CF＝{CF₁，CF₂，......，CF_n}，其中，CF_i為第i組容器文件，i＝1,2…n，每組容器文件包括一個或多個容器文件，CF_i＝(CF_i1，CF_i2，......)，每組容器文件CF_i對應的CF_ij都相同,j＝1,2…；所述CF_i的存儲為順序存儲，所述CF_i為易失性文件，當CF_ij被文件填充滿后，將所述CF_ij中當前存儲的數據存儲到非易失性存儲介質上；所有CF_ij的存儲空間均為固定值S，不同的CF_i對應的CF_ij的存儲空間具有不同的原子存儲塊，所述原子存儲塊為CF_i的最小存儲空間，所述CF_i的原子存儲塊的存儲空間為A_i，A_i/A_i+1＝固定值，i的取值從1到n-1；

當所述計算機程序被處理器執行時，實現以下步驟：

步驟S100、獲取待存儲的文件大小Fsize0。

步驟S200、將Fsize0與預設的文件大小閾值Q相比較，若Fsize0＝Q，則根據Fsize0從所述CF中選擇目標容器文件組CF_xy，將所述待存儲的文件存儲到CF_xy中；

步驟S300、獲取CF_xy的剩余存儲空間，若所述CF_xy的剩余存儲空間為0，則將CF_xy作為一個文件進行分布式存儲，釋放所述CF_xy的存儲空間。