[發明專利]小文件遷移方法、裝置、設備及計算機可讀存儲介質

有效

• 申請號: 201711147164.7
• 申請日: 2017-11-17
• 公開（公告）號: CN107844590B
• 公開（公告）日: 2020-05-29
• 發明（設計）人: 孔軍
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/13;G06F16/182
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

本發明公開了一種小文件遷移方法、裝置、設備及計算機可讀存儲介質，包括：加載待遷移的小文件；根據預設遷移策略遷移待遷移的小文件并判斷正在遷移的小文件是否達到遷移上限，若是，則停止加載待遷移的小文件，當達到預設恢復條件時，恢復加載待遷移的小文件；若否，則繼續加載待遷移的小文件。利用本發明，在加載待遷移的小文件達到遷移上限時，停止加載待遷移的小文件，避免了無限制加載待遷移的小文件導致的分布式存儲系統阻塞癱瘓的問題，提高了分布式存儲能力的利用率和海量小文件的遷移效率。

技術領域

本發明涉及分布式存儲技術領域，特別是涉及一種小文件遷移方法。本發明還涉及一種小文件遷移裝置、設備及計算機可讀存儲介質。

背景技術

在互聯網大數據時代，海量大文件傳輸需要占用超大的帶寬，海量小文件傳輸需要占用超大的IOPS(Input Output Operations Per Second，每秒進行讀寫操作的次數)，海量小文件傳輸帶來的超大的IOPS會給分布式存儲系統帶來前所未有的挑戰，尤其是海量小文件在不同的分布式存儲系統間遷移，能不能充分發揮分布式存儲能力顯得尤為重要。

現有技術中海量小文件的遷移方法在遷移小文件的時候會無限制的加載待遷移的小文件，當加載的小文件數量超出分布式存儲系統單次遷移小文件的最大數量時，會導致分布式存儲阻塞癱瘓，降低了遷移效率。

因此，如何提供一種能夠提高遷移效率的海量小文件遷移方法、裝置、設備及計算機可讀存儲介質是本領域技術人員需要解決的問題。

發明內容

本發明的目的是提供一種小文件遷移方法，其能夠避免無限制加載待遷移的小文件導致的分布式存儲系統阻塞癱瘓的問題，提高分布式存儲能力的利用率和海量小文件的遷移效率；本發明的另一目的是提供一種包括上述方法的小文件遷移裝置、設備及計算機可讀存儲介質，其也能夠避免無限制加載待遷移的小文件導致的分布式存儲系統阻塞癱瘓的問題，提高分布式存儲能力的利用率和海量小文件的遷移效率。

為解決上述技術問題，本發明提供了一種小文件遷移方法，包括：

加載待遷移的小文件；

根據預設遷移策略遷移所述待遷移的小文件并判斷正在遷移的小文件是否達到遷移上限，若是，則停止加載所述待遷移的小文件，當達到預設恢復條件時，恢復加載所述待遷移的小文件；若否，則繼續加載所述待遷移的小文件。

優選地，所述預設恢復條件為所述正在遷移的小文件的數量降低到預設閾值。

優選地，所述預設閾值為所述遷移上限的90％。

優選地，生成所述預設遷移策略的過程具體包括：

根據所述待遷移的小文件的起始地址和終止地址生成遷移路徑；

根據單個元數據服務MDS的處理能力獲取分布式存儲系統的存儲能力；

獲取所述待遷移的小文件所在目錄的目錄結構樹以及所述待遷移的小文件的個數；

根據所述遷移路徑、所述分布式存儲系統的存儲能力、所述目錄結構樹以及單個目錄的文件個數，生成遷移策略。

優選地，所述遷移所述待遷移的小文件之后還包括：

記錄已經完成遷移的小文件，并生成遷移記錄表。

優選地，所述根據預設遷移策略遷移所述待遷移的小文件的過程中，還包括：

顯示遷移的進度。

為解決上述技術問題，本發明還提供了一種小文件遷移裝置，包括：

加載單元，用于加載待遷移的小文件；

遷移單元，用于根據預設遷移策略遷移所述待遷移的小文件；