[發明專利]一種對象存儲小文件處理方法、裝置、設備及存儲介質

在審

• 申請號: 202010071635.6
• 申請日: 2020-01-21
• 公開（公告）號: CN111309687A
• 公開（公告）日: 2020-06-19
• 發明（設計）人: 李朋輝;梁珂銘;胡永剛
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F16/172
• 分類號: G06F16/172;G06F16/182
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 田媛媛

本申請公開了一種對象存儲小文件處理方法、裝置、設備及計算機可讀存儲介質，方法包括：判斷對象數據寫入請求中包含的小文件是否小于或等于預設值；若是，判斷是否是首次寫入小文件，若是，將小文件中的數據寫入到聚合文件中，并將聚合文件的標識、數據的長度及數據在聚合文件中的位置存儲在小文件的元數據中；判斷聚合文件的容量是否超過設定容量，若是，將數據寫入到新的聚合文件中，若否，返回執行接收對象寫入請求的步驟；將達到設定容量的聚合文件寫入到OSD中，將元數據存放在數據庫中。本申請公開的上述技術方案，將多個小文件聚合成一個聚合文件的方式，以降低小文件寫入次數，從而有效地降低小文件頻繁讀寫對存儲系統造成的負荷。

技術領域

本申請涉及Ceph分布式文件系統技術領域，更具體地說，涉及一種對象存儲小文件處理方法、裝置、設備及計算機可讀存儲介質。

背景技術

Ceph是一種性能優秀、可靠性和擴展性均很強的分布式文件系統，其可以提供文件系統、塊存儲和對象存儲這三種應用。

目前，對于Ceph存儲系統中的對象存儲而言，在進行小文件的寫入時，通常是將單個小文件作為一個整體寫入到OSD(Object Storage Device，對象存儲設備，一種與實際存儲設備存在映射關系的邏輯概念)中。但是，隨著需要存儲的數據越來越多，會出現大量的小文件頻繁調用寫入接口以將大量的小文件寫入到OSD中的情況，而小文件的頻繁寫入會給Ceph存儲系統造成比較大的負荷，降低小文件寫性能，提高OSD讀寫壓力。

綜上所述，如何有效地降低對象存儲中小文件的寫入次數，以降低小文件頻繁寫入給Ceph存儲系統所造成的負荷，是目前本領域技術人員亟待解決的技術問題。

發明內容

有鑒于此，本申請的目的是提供一種對象存儲小文件處理方法、裝置、設備及計算機可讀存儲介質，用于有效地較低對象存儲中小文件的寫入次數，以降低小文件頻繁寫入給Ceph存儲系統所造成的負荷。

為了實現上述目的，本申請提供如下技術方案：

一種對象存儲小文件處理方法，包括：

接收對象數據寫入請求，判斷所述對象數據寫入請求中包含的小文件的大小是否小于或等于預設值；

若小于或等于所述預設值，則判斷是否是首次寫入所述小文件，若是首次寫入，則將所述小文件中的數據寫入到聚合文件中，并將所述聚合文件的標識、所述數據的長度及所述數據在所述聚合文件中的位置存儲在所述小文件的元數據中；

判斷所述聚合文件的容量是否超過所述聚合文件的設定容量，若超過，則將所述數據寫入到新的聚合文件中，若未超過，則返回執行所述接收對象數據寫入請求的步驟；

將達到所述設定容量的聚合文件寫入到OSD中，并將所述元數據存放在數據庫中。

優選的，在確定所述對象數據請求中包含的小文件不為首次寫入時，還包括：

將所述小文件中的數據作為普通文件寫入到所述OSD中，并對所述小文件的元數據進行處理，以通過所述小文件的元數據標識所述小文件為非聚合文件；

從所述聚合文件中讀取與所述小文件對應的源文件的數據，對所述源文件的元數據進行修改，以標識所述源文件在所述聚合文件中所占用的空間已被刪除。

優選的，在將所述聚合文件的標識、所述數據的長度及所述數據在所述聚合文件中的位置存儲在所述小文件的元數據中時，還包括：

記錄所述聚合文件的生成時長；

判斷所述聚合文件的生成時長是否大于預設時長，若是，則將所述聚合文件寫入到所述OSD中，并將所述元數據存放在所述數據庫中，若否，則執行所述判斷所述聚合文件的容量是否超過所述聚合文件的設定容量的步驟。