[發明專利]文件存儲和檢索的方法及裝置

有效

• 申請號: 201611146725.7
• 申請日: 2016-12-13
• 公開（公告）號: CN108614837B
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 陳廣;薛成剛;汪渭春
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/182
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 江崇玉

本發明公開了一種文件存儲和檢索的方法及裝置，屬于數據存儲技術領域。應用于文件存儲系統包括的應用服務器中，文件存儲系統還包括客戶端和分布式存儲系統，所述方法包括：當接收到客戶端發送的待存儲的第一目標文件時，判斷第一目標文件是否為小文件，當第一目標文件為小文件時，從本地存儲的合并文件中，獲取文件大小小于第二預設閾值的合并文件，將第一目標文件寫入至所述合并文件中，并判斷寫入后的合并文件的文件大小是否大于或等于所述第二預設閾值；當寫入后的合并文件的文件大小大于或等于第二預設閾值時，將寫入后的合并文件存儲至分布式存儲系統。本發明提高了分布式存儲系統的存儲性能。

技術領域

本發明涉及數據存儲技術領域，特別涉及一種文件存儲和檢索的方法及裝置。

背景技術

隨著互聯網的普及，越來越多的用戶開始通過互聯網來享受生活的便利。隨著互聯網中的用戶日益增多，互聯網所產生的數據也越來越多，這些數據可以以文件的形式存儲，比如，音頻、視頻、圖片等數據均可以通過文件的形式存儲。因此，亟需一種文件存儲和檢索的方法。

現有技術中，通常可以由客戶端獲取文件，并通過分布式存儲系統存儲文件，即，客戶端可以獲取待存儲的目標文件，并將目標文件發送給分布式存儲系統，當該分布式存儲系統接收到目標文件時，可以將目標文件進行存儲。為了便于在存儲該目標文件之后，對該目標文件進行檢索，該分布式存儲系統還可以生成并存儲該目標文件的元數據，該元數據用于記錄目標文件的文件標識和目標文件在該分布式存儲系統中的存儲地址等信息。

由于在分布式存儲系統中存儲的文件可能會包括小文件，即文件大小在幾MB(MByte，兆)以下的文件，因此，當該分布式存儲系統中存儲了海量的小文件時，可能會導致該分布式存儲系統出現大量的磁盤碎片。另外，由于該分布式存儲系統需要為每個文件生成并存儲元數據，當需要對存儲的某個文件進行檢索時，該分布式存儲系統需要耗費大量的時間來在存儲的海量的元數據中檢索該文件，從而降低了該分布式存儲系統的存儲性能。

發明內容

為了解決提高分布式存儲系統的存儲性能，本發明實施例提供了一種文件存儲和檢索的方法及裝置。所述技術方案如下：

第一方面，提供了一種文件存儲的方法，應用于文件存儲系統包括的應用服務器中，所述文件存儲系統還包括分布式存儲系統，所述方法包括：

當接收到客戶端發送的待存儲的第一目標文件時，判斷所述第一目標文件是否為小文件，所述小文件為文件大小小于第一預設閾值的文件；

當所述第一目標文件為小文件時，從本地存儲的合并文件中，獲取文件大小小于第二預設閾值的合并文件，所述第二預設閾值大于或等于所述第一預設閾值，所述合并文件為需要與小文件進行合并的文件；

將所述第一目標文件寫入至所述合并文件中，并判斷寫入后的所述合并文件的文件大小是否大于或等于所述第二預設閾值；

當寫入后的所述合并文件的文件大小大于或等于所述第二預設閾值時，將寫入后的所述合并文件存儲至所述分布式存儲系統。

結合第一方面，在上述第一方面的第一種可能的實現方式中，所述將所述第一目標文件寫入至所述合并文件之后，還包括：

生成所述第一目標文件的屬性信息，所述第一目標文件的屬性信息包括所述應用服務器為所述第一目標文件分配的文件標識、所述應用服務器為所述合并文件分配的文件標識和所述第一目標文件寫入在所述合并文件中的位置信息；

存儲所述第一目標文件的屬性信息。

結合第一方面的第一種可能的實現方式，在上述第一方面的第二種可能的實現方式中，所述存儲所述第一目標文件的屬性信息，包括：