[發(fā)明專利]一種確定數(shù)據(jù)遷移時機的方法和裝置

有效

• 申請?zhí)枺?/td>: 201210590171.5
• 申請日: 2012-12-29
• 公開（公告）號: CN103078933A
• 公開（公告）日: 2013-05-01
• 發(fā)明（設(shè)計）人: 張森林;馮圣中
• 申請（專利權(quán)）人: 深圳先進(jìn)技術(shù)研究院
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 深圳市科進(jìn)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44316
• 代理人: 宋鷹武

技術(shù)領(lǐng)域

本發(fā)明屬于互聯(lián)網(wǎng)通信領(lǐng)域，尤其涉及一種確定數(shù)據(jù)遷移時機的方法和裝置。

背景技術(shù)

隨著數(shù)據(jù)的爆炸性增長，存儲海量數(shù)據(jù)的集群應(yīng)運而生。因為集群中存儲的數(shù)據(jù)量很大，有的已達(dá)PB級，同一時刻可能會有大量的數(shù)據(jù)訪問。因此，數(shù)據(jù)的存放位置是否合理，直接影響到數(shù)據(jù)的訪問延遲。

數(shù)據(jù)遷移，是指不同的存儲介質(zhì)之間的數(shù)據(jù)移動。要完成數(shù)據(jù)遷移，系統(tǒng)需要消耗一定的資源（包括硬件資源、帶寬等）。

在存儲海量數(shù)據(jù)的集群中，需要數(shù)據(jù)遷移的情形，主要有系統(tǒng)的升級換代、數(shù)據(jù)的備份/恢復(fù)，以及分級存儲系統(tǒng)中數(shù)據(jù)的動態(tài)調(diào)整等。其中系統(tǒng)的升級換代是大規(guī)模的、一次性的；數(shù)據(jù)的備份/恢復(fù)是基于安全考慮的；通常情況下，這兩類遷移發(fā)生的次數(shù)很少，而且多是在某一時刻必須完成的。

但是分級存儲系統(tǒng)中的數(shù)據(jù)動態(tài)調(diào)整，其目的是為了使得數(shù)據(jù)的位置得到合理化的配置。分級存儲，是依據(jù)數(shù)據(jù)活躍度的“二八原則”：即20%的數(shù)據(jù)處于活躍狀態(tài)，而80%的數(shù)據(jù)處于不活躍狀態(tài)，將服務(wù)器按硬件性能分成不同存儲層次，存儲層次越高，性能越好。分級存儲系統(tǒng)的目標(biāo)是將活躍數(shù)據(jù)存儲于層次高的存儲上，但是數(shù)據(jù)的活躍度會隨著時間的變化而變化，所以即便某一次的數(shù)據(jù)配置是合理的，但是過一段時間后，這種配置也會因數(shù)據(jù)活躍度的變化而顯得不合時宜，因此為了達(dá)到數(shù)據(jù)合理化配置的目標(biāo)，就需要進(jìn)行數(shù)據(jù)遷移。

但遷移是需要耗費資源的，如果遷移次數(shù)過少，就無法充分發(fā)揮分級存儲系統(tǒng)的優(yōu)勢，如果遷移次數(shù)過多，系統(tǒng)會有過多的資源用于內(nèi)耗，有可能降低系統(tǒng)對其他業(yè)務(wù)的服務(wù)質(zhì)量。因此遷移的時機選擇很重要，既要確保能夠發(fā)揮分級存儲系統(tǒng)的優(yōu)勢，又不能有過多的資源用于內(nèi)耗。

目前，有兩種確定遷移時機的方法。一種是固定周期法，即分級存儲系統(tǒng)會在一定時間之后，進(jìn)行數(shù)據(jù)遷移，而不考慮其他情況；另一種是剩余空間監(jiān)視法,即監(jiān)視一級存儲的剩余空間，如果剩余空間不足，則啟動遷移。

但是這兩種方法都有不足：固定周期法所設(shè)置的周期，若過長，難以發(fā)揮分級存儲的優(yōu)勢；若過短，系統(tǒng)的資源會頻繁用于內(nèi)耗。而集群的負(fù)載處于動態(tài)變化中，不同的應(yīng)用訪問數(shù)據(jù)的情況不同，一個適應(yīng)所有應(yīng)用場景的合理周期，是不存在的，也就是說，固定周期法難以適應(yīng)系統(tǒng)負(fù)載的動態(tài)變化。

剩余空間監(jiān)視法，在集群中有大量數(shù)據(jù)寫入的情況下可以發(fā)揮功效，但是很多情況下，集群中會不再有數(shù)據(jù)寫入而擁有頻繁的數(shù)據(jù)讀取，但數(shù)據(jù)的活躍度卻在不斷發(fā)生變化。這種情形下，分級存儲系統(tǒng)就不能進(jìn)行數(shù)據(jù)遷移，也做不到合理的數(shù)據(jù)配置，發(fā)揮不了它應(yīng)有的作用。

因此，需定遷移時機的方法需要合理化，一方面要能適應(yīng)系統(tǒng)負(fù)載的動態(tài)變化，另一方面，又能使得數(shù)據(jù)能在合適的節(jié)點上存放，使得系統(tǒng)在處理活躍數(shù)據(jù)時的效率提高，最終使得數(shù)據(jù)的訪問性能提高，而整體的訪問延遲降低。

發(fā)明內(nèi)容

本發(fā)明實施例提供一種確定數(shù)據(jù)遷移時機的方法和裝置，旨在解決當(dāng)前無法動態(tài)選擇合適的數(shù)據(jù)遷移時機，既確保能夠發(fā)揮分級存儲系統(tǒng)的優(yōu)勢，又不會有過多的資源用于內(nèi)耗的問題。

為此，本發(fā)明實施例提供了如下技術(shù)方案：

一種確定數(shù)據(jù)遷移時機的裝置，包括：

監(jiān)視模塊，與判斷模塊相連接，用于啟動雙線程，分別監(jiān)視分級存儲系統(tǒng)中一級存儲的空間使用率和數(shù)據(jù)遷移周期；

判斷模塊，分別與所述監(jiān)視模塊和數(shù)據(jù)遷移模塊相連接，用于通過所述雙線程，定期判斷所述數(shù)據(jù)遷移條件是否已滿足；

數(shù)據(jù)遷移模塊，用于執(zhí)行所述數(shù)據(jù)遷移；

調(diào)整模塊，與所述數(shù)據(jù)遷移模塊相連接，用于調(diào)整所述數(shù)據(jù)遷移周期。

本發(fā)明實施例還提供了一種確定數(shù)據(jù)遷移時機的方法，包括：

A：啟動雙線程，分別監(jiān)視分級存儲系統(tǒng)中一級存儲的空間使用率和數(shù)據(jù)遷移周期；

B：所述雙線程，定期判斷所述數(shù)據(jù)遷移條件是否已滿足，若否，則等待相同的時間后再判斷，直至判斷所述數(shù)據(jù)遷移條件已滿足，若是，則執(zhí)行步驟C；

C：執(zhí)行所述數(shù)據(jù)遷移；

D：根據(jù)所述遷移的情況，調(diào)整所述數(shù)據(jù)遷移周期；

E：所述數(shù)據(jù)遷移周期調(diào)整后，所述雙線程重新讀取參數(shù)，繼續(xù)下一輪監(jiān)視。

與現(xiàn)有技術(shù)相比，本發(fā)明的實施例具有如下優(yōu)點：