[發明專利]小文件處理方法及裝置

有效

• 申請號: 201711068915.6
• 申請日: 2017-11-03
• 公開（公告）號: CN107807989B
• 公開（公告）日: 2020-03-24
• 發明（設計）人: 梁希云;秦鋒劍
• 申請（專利權）人: 綠灣網絡科技有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/14
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

本發明公開了一種小文件處理方法及裝置，其中，該方法包括：將文件系統中的至少一個大文件劃分成至少一個文件塊，根據至少一個文件塊對應的文件塊大小、至少一個文件塊標識、至少一個大文件標識建立至少一個索引信息，根據至少一個索引信息建立第一索引文件。該方法通過建立第一索引文件，可以通過索引文件塊的大小，確定該文件塊大小對應的由哪些大文件，每個大文件中有哪些空閑的文件塊，這樣，后續可以將待存儲的小文件存儲到合適的文件塊中，一個大文件可以存儲多個小文件，節約了inode節點，更加合理地利用了磁盤空間，提高了文件系統的訪問性能。

技術領域

本發明涉及文件處理技術領域，尤其涉及一種小文件處理方法及裝置。

背景技術

計算機技術和互聯網技術在各行各業中的應用越來越廣泛，數據量也越來越大，針對一些小圖片或者小的文本文件，傳統的文件系統存在以下幾個問題：

1)、小文件數量多，占用過多的文件描述符，快速消耗文件系統的inode(索引節點)數量，而一個系統的inode(索引節點)數量是有限的，因此往往磁盤空間還有剩余，但inode(索引節點)數量已不足。

2)、文件系統最小存儲單位往往是4K，甚至更大，而小文件可能只有幾十字節，對于空間浪費非常大。

3)、由于文件系統的存儲結構不適合存儲巨量文件，當文件數量巨大時，文件系統的訪問性能會嚴重下降。

因此，如何更好地處理小文件成為亟待解決的技術問題。

發明內容

本發明的目的旨在至少在一定程度上解決上述的技術問題之一。

為此，本發明的第一個目的在于提出一種小文件處理方法，通過建立第一索引文件，可以通過索引文件塊的大小，確定該文件塊大小對應的由哪些大文件，每個大文件中有哪些空閑的文件塊，這樣，后續可以將待存儲的小文件存儲到合適的文件塊中，一個大文件可以存儲多個小文件，節約了inode節點，更加合理地利用了磁盤空間，提高了文件系統的訪問性能。

本發明的第二個目的在于提出一種小文件處理裝置。

本發明的第三個目的在于提出一種計算機設備。

本發明的第四個目的在于提出一種計算機可讀存儲介質。

為了實現上述目的，本發明第一方面實施例的小文件處理方法，包括：

將文件系統中的至少一個大文件劃分成至少一個文件塊,其中，同一大文件塊劃分成文件塊大小相同的至少一個文件塊，至少兩個大文件對應的文件塊的文件塊大小不同，不同文件塊大小的文件塊用于存儲不同文件大小的小文件；

根據所述至少一個文件塊對應的文件塊大小、所述至少一個文件塊標識、所述至少一個大文件標識建立至少一個索引信息；

根據至少一個索引信息建立第一索引文件。

如上所述的方法，還包括:

檢測待存儲的小文件的文件大??；

根據所述待存儲的小文件的文件大小查詢第一索引文件，獲取第一文件塊的索引信息，其中，所述第一文件塊為文件塊大小與所述待存儲的小文件的文件大小匹配且處于空閑狀態的文件塊，所述第一文件塊的索引信息包括：第一文件塊的文件塊大小、第一文件塊的文件塊標識、第一文件塊所屬大文件的大文件標識；

根據所述第一文件塊的索引信息中的文件塊大小和文件塊標識確定第一文件塊在所屬的大文件中的存儲位置；

根據所述第一文件塊在所屬的大文件中的存儲位置將待存儲的小文件存儲至所述第一文件塊中。

如上所述的方法，在所述根據所述第一文件塊在所屬的大文件中的存儲位置將待存儲的小文件存儲至所述第一文件塊中之后，還包括：