[發明專利]一種對象存儲方法、裝置、設備及計算機可讀存儲介質

在審

• 申請號: 201810669104.X
• 申請日: 2018-06-26
• 公開（公告）號: CN108959500A
• 公開（公告）日: 2018-12-07
• 發明（設計）人: 孔帥
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F12/02;G06F12/123
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

本發明公開了一種對象存儲方法、裝置、設備及計算機可讀存儲介質，其中該方法包括：讀取存儲于不同聚合文件中的屬于同一對象的全部數據碎片；判斷讀取到的數據碎片的數量是否大于數量閾值，如果是，則將全部數據碎片回寫到同一個聚合文件中供讀取，如果否，則確定無需將所述數據碎片回寫到同一個聚合文件中。本發明的技術方案中，在讀取對象對讀操作的時延及性能影響嚴重時將對象的全部數據碎片回寫到一個聚合文件中，由這一個聚合文件中讀取對象相對于由多個聚合文件中分別讀取得到對象大大降低了讀操作的時延，提高了讀操作的性能。

技術領域

本發明涉及數據存儲技術領域，更具體地說，涉及一種對象存儲方法、裝置、設備及計算機可讀存儲介質。

背景技術

在分布式存儲系統中，本地對象存儲位于最底層，目前主流的本地對象存儲引擎為FileStore，其基于本地的xfs文件系統實現，對象數據(本地對象的數據)保存在一個固定大小的文件中(默認為4MB)，本地對象的元數據保存在文件的擴展屬性或者本地獨立的KV數據庫中。系統運行一段時間后，磁盤上會存儲大量的對象文件(本地對象對應的文件)。

在FileStore的基礎上，通過對象聚合的方式減少了對象文件的個數，同時將小文件的隨機IO變成了線性IO、修改寫變成了追加寫，提高了海量小文件場景下數據的寫入性能。但是這種方式在某些場景下犧牲了讀性能，由于在同一時間內所有的對象數據都被追加寫到同一個聚合文件中，且寫入操作是并發執行的，導致同一個本地對象的不同對象數據會被寫到多個不同的聚合文件中，在小塊隨機讀寫的場景下，這種現象尤其明顯。那么在需要實現本地對象的讀取時，則需要獲取本地對象的索引信息，該索引信息中包括本地對象有幾個數據碎片，每個數據碎片在本地對象中的偏移量及長度、所在聚合文件的編號及偏移量等信息；然后分別從各個聚合文件中讀取數據碎片，合并后返回。這種方式導致讀操作的時延變高，性能降低。

綜上所述，現有技術中對于本地對象的讀取存在讀操作的時延較高、性能較低的問題。

發明內容

本發明的目的是提供一種對象存儲方法、裝置、設備及計算機可讀存儲介質，以解決現有技術中對于本地對象的讀取存在的讀操作的時延較高、性能較低的問題。

為了實現上述目的，本發明提供如下技術方案：

一種對象存儲方法，包括：

讀取存儲于不同聚合文件中的屬于同一對象的全部數據碎片；

判斷讀取到的數據碎片的數量是否大于數量閾值，如果是，則將全部數據碎片回寫到同一個聚合文件中供讀取，如果否，則確定無需將所述數據碎片回寫到同一個聚合文件中。

優選的，讀取存儲于不同聚合文件中的屬于同一對象的全部數據碎片之后，還包括：

判斷對所述對象的訪問是否處于一寫多讀的場景，如果是，則將全部數據碎片回寫到同一個聚合文件中供讀取，如果否，則確定無需將所述數據碎片回寫到同一個聚合文件中。

優選的，讀取存儲于不同聚合文件中的屬于同一對象的全部數據碎片之后，還包括：

判斷所述對象所屬的存儲系統當前的負載值是否小于預設負載值，如果是，則將全部數據碎片回寫到同一個聚合文件中供讀取，如果否，則確定無需將所述數據碎片回寫到同一個聚合文件中。

優選的，將全部數據碎片回寫到同一個聚合文件中之后，還包括：

將所述對象的索引信息設置為將所述數據碎片寫入至的聚合文件的位置信息。

優選的，讀取存儲于不同聚合文件中的屬于同一對象的全部數據碎片之后，還包括：

將全部數據碎片存儲至緩存中供讀取，所述緩存的存儲規則為當所述緩存的存儲空間被全部占用時，將所述緩存中存儲的距離當前時刻最遠被使用的數據刪除。