[發(fā)明專利]一種數(shù)據(jù)遷移方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201710227000.9
• 申請日: 2017-04-07
• 公開（公告）號: CN106990924A
• 公開（公告）日: 2017-07-28
• 發(fā)明（設(shè)計(jì)）人: 白培翔
• 申請（專利權(quán)）人: 廣東浪潮大數(shù)據(jù)研究有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司11227
• 代理人: 羅滿

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)存儲技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)遷移方法和系統(tǒng)。

背景技術(shù)

隨著計(jì)算機(jī)硬件和軟件技術(shù)的不斷發(fā)展，數(shù)據(jù)的使用量和交換量都在急劇攀升。一般的存儲器都會有數(shù)據(jù)遷移，但是對系統(tǒng)中數(shù)據(jù)遷移過程中的具體數(shù)據(jù)無法判斷。由于數(shù)據(jù)數(shù)量大、機(jī)器中磁盤容量限制等等的原因，會增加數(shù)據(jù)遷移的困難，頻繁的進(jìn)行數(shù)據(jù)的遷移，即浪費(fèi)了時(shí)間，又降低了存儲器的使用壽命。

存儲器設(shè)備在工作的時(shí)候都會處理存儲大量的數(shù)據(jù)，如果是海量數(shù)據(jù)的情況，比如大文件或者很多的小文件數(shù)據(jù)會產(chǎn)大量的對象進(jìn)行存儲，從而可能對系統(tǒng)造成障礙堵塞的可能狀況。存儲器設(shè)備中所存儲的數(shù)據(jù)一般是“二八原則”，也就是大約僅僅20％的重要數(shù)據(jù)，80％為其他普通的數(shù)據(jù)，可能在系統(tǒng)中60％至80％的數(shù)據(jù)在一個月，或者更長的時(shí)間內(nèi)都不會被命中訪問到，即出現(xiàn)了“死數(shù)據(jù)”的現(xiàn)象。

尤其在存儲器的鏡像系統(tǒng)測試時(shí)，由于大型的存儲器對數(shù)據(jù)的處理設(shè)計(jì)要求很高，不論是前期的數(shù)據(jù)寫入和后期的數(shù)據(jù)保護(hù)，通常會加入一些技術(shù)來管理數(shù)據(jù)，防止設(shè)備在工作過程出現(xiàn)不確定因素，造成設(shè)備中的數(shù)據(jù)寫入進(jìn)程卡死或者數(shù)據(jù)的丟失，會對系統(tǒng)中數(shù)據(jù)造成的損壞。一旦無法保證客戶使用設(shè)備中的數(shù)據(jù)，不論是由于設(shè)計(jì)上的失誤、人為操作、或者其他的意外情況都有可能對用戶造成很大的損失。

為了防止此現(xiàn)象的出現(xiàn)，現(xiàn)有技術(shù)中通常在設(shè)計(jì)的時(shí)候，只利用數(shù)據(jù)的優(yōu)先級選擇數(shù)據(jù)或者有的只是過分地關(guān)注遷移的速度問題。但是當(dāng)設(shè)備中數(shù)據(jù)為PB量級的存儲系統(tǒng)，通過數(shù)據(jù)遷移，會造成設(shè)備資源嚴(yán)重性浪費(fèi)情況，甚至?xí)谧x寫海量數(shù)據(jù)時(shí)，系統(tǒng)磁盤會崩潰掉，這對存儲器而言是致命的。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種數(shù)據(jù)遷移方法和系統(tǒng)，減少或避免設(shè)備中的數(shù)據(jù)寫入進(jìn)程卡死或者數(shù)據(jù)的丟失，減少對系統(tǒng)中數(shù)據(jù)造成的損壞，提高存儲器的使用壽命。

為解決上述技術(shù)問題，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)遷移方法，包括：

步驟1，接收達(dá)到遷移條件的存儲數(shù)據(jù)遷移指令；

步驟2，根據(jù)所述存儲數(shù)據(jù)的存在時(shí)間越短價(jià)值越高、在預(yù)定周期中I/O訪問頻率越高價(jià)值越高的原則對所述存儲數(shù)據(jù)進(jìn)行價(jià)值評估；

步驟3，判斷所述存儲數(shù)據(jù)的價(jià)值是否超過閾值；

若是，步驟4，將所述存儲數(shù)據(jù)遷移到高速率OSD存儲器中，否則，步驟5，將所述存儲數(shù)據(jù)遷移到海量OSD存儲器中。

其中，在所述步驟4或所述步驟5之后，還包括：

步驟6，記錄所述存儲數(shù)據(jù)遷移后的數(shù)據(jù)價(jià)值。

其中，所述步驟3還包括：

創(chuàng)建所述存儲數(shù)據(jù)的數(shù)據(jù)遷移主線程，并創(chuàng)建數(shù)據(jù)文件遷移隊(duì)列任務(wù)。

其中，在所述步驟3中，還包括：

判斷當(dāng)前等待文件遷移任務(wù)隊(duì)列中的數(shù)據(jù)價(jià)值是否小于所述存儲數(shù)據(jù)的數(shù)據(jù)價(jià)值；

若是，停止所述當(dāng)前等待文件遷移任務(wù)隊(duì)列或變更所述當(dāng)前等待文件遷移任務(wù)隊(duì)列。

其中，在所述步驟6之后，還包括：

步驟7，依據(jù)所述系統(tǒng)的當(dāng)前的負(fù)荷值，調(diào)整當(dāng)前的數(shù)據(jù)遷移速率。

其中，所述步驟7包括：

對系統(tǒng)的負(fù)荷進(jìn)行監(jiān)控，獲取所述系統(tǒng)當(dāng)前的負(fù)荷值；

判斷所述系統(tǒng)當(dāng)前的負(fù)荷值是否超出閾值；

若是，調(diào)整當(dāng)前的數(shù)據(jù)遷移速率。

其中，在所述步驟7之后，還包括：

步驟8，周期性查詢數(shù)據(jù)遷移計(jì)劃。

除此之外，本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)遷移系統(tǒng)，包括數(shù)據(jù)存儲模塊、數(shù)據(jù)價(jià)值評估模塊和遷移回遷模塊，所述數(shù)據(jù)價(jià)值評估模塊用于對數(shù)據(jù)價(jià)值評估模塊中的數(shù)據(jù)的價(jià)值依據(jù)存在時(shí)間越短價(jià)值越高、在預(yù)定周期中I/O訪問頻率越高價(jià)值越高的原則進(jìn)行價(jià)值評估，所述遷移回遷模塊與服務(wù)器、所述數(shù)據(jù)價(jià)值評估模塊連接，接收服務(wù)器發(fā)出的遷移回遷指令，并將數(shù)據(jù)價(jià)值高于閾值的數(shù)據(jù)遷入高速率OSD存儲器、數(shù)據(jù)價(jià)值低于閾值的數(shù)據(jù)遷入海量OSD存儲器，所述數(shù)據(jù)存儲模塊用于存儲緩沖數(shù)據(jù)，與所述數(shù)據(jù)價(jià)值評估模塊、服務(wù)器連接，并依據(jù)所述緩沖數(shù)據(jù)的價(jià)值向所述服務(wù)器發(fā)送數(shù)據(jù)遷移命令，并將數(shù)據(jù)存儲量發(fā)送到所述數(shù)據(jù)價(jià)值評估模塊，所述服務(wù)器將所述數(shù)據(jù)的遷移結(jié)果反饋到所述數(shù)據(jù)價(jià)值評估模塊。

其中，還包括與所述遷移回遷模塊連接的分級管理模塊，用于為所述數(shù)據(jù)遷移創(chuàng)建主線程，建立數(shù)據(jù)文件遷移任務(wù)對隊(duì)列，并進(jìn)行數(shù)據(jù)遷移操作。