[發明專利]一種基于對象存儲的自適應分級處理方法及系統

在審

• 申請號: 201410757697.7
• 申請日: 2014-12-10
• 公開（公告）號: CN104360961A
• 公開（公告）日: 2015-02-18
• 發明（設計）人: 張在貴;姜偉麗
• 申請（專利權）人: 浪潮（北京）電子信息產業有限公司
• 主分類號: G06F12/08
• 分類號: G06F12/08;H04L29/08
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 王康;李丹

技術領域

本發明涉及云存儲領域，具體涉及一種基于對象存儲的自適應分級處理方法和系統。

背景技術

分級存儲是根據數據的重要性、訪問頻率、保留時間、容量、性能等指標，將數據采取不同的存儲方式分別存儲在不同性能的存儲設備上，通過分級存儲管理實現數據客體在存儲設備之間的自動遷移。數據分級存儲的工作原理是基于數據訪問的局部性，通過將不經常訪問的數據自動移到存儲層次中較低的層次，釋放出較高成本的存儲空間給更頻繁訪問的數據，可以獲得更好的性價比。這樣可大大減少非重要性數據在一級本地磁盤所占用的空間，還可加快整個系統的存儲性能。

對象存儲系統是以對象為訪問接口的網絡存儲系統，對象存儲文件系統提供一套類似于文件操作的訪問接口，并將文件操作轉化為對象訪問，使得用戶的多種應用程序不需要進行任何修改就可以運行在對象存儲系統上。采用對象接口可以使對象存儲系統在跨平臺數據共享、安全性、性能以及智能性方面具有優勢。在對象存儲系統中，數據以對象為單位存放，對象可以提供數據的完整性。對象存儲系統中以對象為粒度設計分級功能，以對象為粒度的分級架構由于遷移的對象不再是文件而是文件中的熱點對象，這樣做就減少了遷移的數據量，同時由于對象較小，大大簡化了遷移過程中對數據的處理，加速了遷移過程。

目前通用的分級設計將磁盤根據性能聚合為兩個性能不同存儲池，在用戶指定的業務空閑期根據數據的熱度進行數據在存儲池間的遷移。通常情況下高性能存儲池雖然訪問效率高，但是通常成本很高，因此僅配置少量的高性能存儲空間用于存放熱點數據。當熱點數據過多或者用戶策略設置不太合理的情況下，很容易造成高性能存儲池空間不足，這時通常的處理方法是拒絕用戶的訪問請求，或者通過提前預警的方式提醒用戶進行高性能存儲池的擴容或者手動進行部分數據的遷移，這樣會嚴重影響用戶的使用體驗。

發明內容

為了解決上述問題，本發明提出了一種基于對象存儲的自適應分級處理方法及系統，能夠提高系統的訪問效率。

為了達到上述目的，本發明提出了一種基于對象存儲的自適應分級處理方法，該方法包括：

在對象存儲操作到來時，主進程首先計算對象熱度，根據系統當前的數據計算系統容量水位，在完成計算后，主進程繼續進行正常的主進程存儲操作，并在系統容量水位達到水位上限時，將系統容量水位達到水位上限的消息放入水位監控隊列中。

分級進程讀取水位監控隊列中的系統容量水位達到水位上限的消息，根據計算的對象熱度，執行由高性能存儲池向低性能存儲池的對象數據單向遷移操作。

優選地，系統容量水位是指：存儲空間中已被占用空間與存儲空間的總容量之間的比值。

優選地，分級進程根據計算的對象熱度，執行數據單向遷移操作是指，分級進程遍歷對象存儲系統中的對象，根據對象的對象熱度優先將對象熱度最低的對象數據由高性能存儲池遷移到低性能存儲池。

優選地，該方法還包括：在分級進程將具有最低對象熱度的對象遷移完成之后，主進程再次計算系統容量水位，如果系統容量水位仍然大于或等于所述水位上限，則主進程再次將系統容量水位達到水位上限的消息放入水位監控隊列中；分級進程讀取監控隊列中的消息，并基于對象熱度繼續進行遷移操作，如果系統容量水位小于水位上限，則主進程繼續進行正常的主進程存儲操作，并在預定時間內進行下一次系統容量水位的計算，分級進程定時掃描監控隊列，等待下一個系統容量水位達到水位上限的消息。

本發明還提出一種基于對象存儲的自適應分級處理系統，該系統包括：主進程模塊、分級進程模塊。

主進程模塊，用于在對象存儲操作到來時，首先計算對象熱度，根據系統當前的數據計算系統容量水位，在完成計算后，繼續進行正常的主進程存儲操作，并在系統容量水位達到水位上限時，將系統容量水位達到水位上限的消息放入水位監控隊列中。

分級進程模塊，用于讀取水位監控隊列中的系統容量水位達到水位上限的消息，根據計算的對象熱度，執行由高性能存儲池向低性能存儲池的對象數據單向遷移操作。

優選地，分級進程模塊還用于，遍歷對象存儲系統中的對象，根據對象的對象熱度優先將對象熱度最低的對象數據由高性能存儲池遷移到低性能存儲池。

優選地，

主進程模塊還用于：在分級進程模塊將具有最低對象熱度的對象遷移完成之后，再次計算系統容量水位，如果系統容量水位仍然大于或等于水位上限，則再次將系統容量水位達到水位上限的消息放入水位監控隊列中；如果系統容量水位小于水位上限，則繼續進行正常的主進程存儲操作，并在預定時間內進行下一次系統容量水位的計算。