[發明專利]一種小文件存儲方法、裝置、設備及介質

有效

• 申請號: 201911382298.6
• 申請日: 2019-12-27
• 公開（公告）號: CN111176574B
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 梁珂銘;胡永剛
• 申請（專利權）人: 浪潮電子信息產業股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 巴翠昆

本申請公開了一種小文件存儲方法、裝置、設備及介質，包括：利用小文件對應的桶名和文件名生成對應的文件標識；利用所述文件標識將不同的所述小文件對應的聚合信息添加至不同的元數據表；其中，所述聚合信息包括所述文件標識以及對應的大文件的名稱、所述小文件在對應的所述大文件中的偏移位置，并且，所述大文件為所述小文件對應的聚合文件；當獲取到用戶終端發送的針對所述小文件的讀請求，則查找對應的所述元數據表，以及從查找到的所述元數據表中查詢對應的所述聚合信息，然后利用所述聚合信息讀取對應的所述大文件中的所述小文件的數據。這樣，能夠提升從元數據表中查詢對應的聚合信息的速率，從而提升小文件的讀取速率。

技術領域

本申請涉及存儲技術領域，特別涉及一種小文件存儲方法、裝置、設備及介質。

背景技術

機械硬盤在存儲系統中大量采用，而機械硬盤在讀寫過程中會有尋道時間，因此，對于一些小文件存儲需求較多的用戶場景，小文件的讀寫效率很低，速度僅為幾MB/S，成為小文件存儲效率的瓶頸。所以，針對小文件的應用場景，業界提出了小文件聚合方案，把小文件先放入內存或SSD(Solid State Disk，固態硬盤)硬盤等高速介質中，然后把小文件聚合成一個大文件，然后下刷到機械硬盤中，這樣會減少機械硬盤對小文件的IO瓶頸，大大增加系統對小文件的處理速度。

目前，在分布式對象存儲中，通常的文件讀取過程為將讀取請求中的桶名和文件名組成一個對象名名稱，發給底層rados存儲集群，獲取數據。因此，在把小文件聚合成一個大文件的場景下，通常需要中間添加一個大文件的查找過程，通過桶名和文件名以及元數據目錄來查找聚合后的大文件，然后從查找到的大文件中讀出小文件數據并返回。這樣，會存在一個問題，對于分布式海量存儲來說，一個桶內可能存在上千萬個對象，甚至上億個對象，這會導致大文件的查找過程十分漫長，成為小文件的讀性能的瓶頸。

發明內容

有鑒于此，本申請的目的在于提供一種小文件存儲方法、裝置、設備及介質，能夠提升小文件的讀取速率。其具體方案如下：

第一方面，本申請公開了一種小文件存儲方法，包括：

利用小文件對應的桶名和文件名生成對應的文件標識；

利用所述文件標識將不同的所述小文件對應的聚合信息添加至不同的元數據表；其中，所述聚合信息包括所述文件標識以及對應的大文件的名稱、所述小文件在對應的所述大文件中的偏移位置，并且，所述大文件為所述小文件對應的聚合文件；

當獲取到用戶終端發送的針對所述小文件的讀請求，則查找對應的所述元數據表，以及從查找到的所述元數據表中查詢對應的所述聚合信息，然后利用所述聚合信息讀取對應的所述大文件中的所述小文件的數據。

可選的，所述利用所述文件標識將不同的所述小文件對應的聚合信息添加至不同的元數據表，包括：

針對任一所述小文件對應的聚合信息，查找是否存在數據表名與所述文件標識對應的所述元數據表；

若存在，則將當前小文件對應的聚合信息添加至對應的所述元數據表；

若不存在，則將當前小文件對應的聚合信息添加至空的所述元數據表，并利用所述文件標識生成該元數據表的數據表名。

可選的，所述將當前小文件對應的聚合信息添加至空的所述元數據表，包括：

將當前小文件對應的聚合信息添加至預先創建的空的所述元數據表；

或，實時創建空的所述元數據表，然后將當前小文件對應的聚合信息添加至該元數據表。

可選的，所述利用小文件對應的桶名和文件名生成對應的文件標識，包括：

將小文件對應的桶名和文件名生成對應的字符串；

對所述字符串進行哈希運算，得到對應的所述文件標識。