[發(fā)明專利]一種數(shù)據(jù)遷移方法、裝置及電子設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201911318556.4
• 申請(qǐng)日: 2019-12-19
• 公開（公告）號(hào): CN111124304B
• 公開（公告）日: 2022-04-22
• 發(fā)明（設(shè)計(jì)）人: 蘇楠
• 申請(qǐng)（專利權(quán)）人: 北京浪潮數(shù)據(jù)技術(shù)有限公司
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 史翠

本申請(qǐng)公開了一種數(shù)據(jù)遷移方法、裝置及一種電子設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該方法包括：基于所有存儲(chǔ)桶的訪問(wèn)熱度確定需要進(jìn)行數(shù)據(jù)遷移的目標(biāo)存儲(chǔ)桶；其中，所述目標(biāo)存儲(chǔ)桶包括非易失性的多級(jí)緩存介質(zhì)和硬盤驅(qū)動(dòng)器；基于所述硬盤驅(qū)動(dòng)器的讀寫速度和所述硬盤驅(qū)動(dòng)器中數(shù)據(jù)的數(shù)據(jù)熱度確定待遷移數(shù)據(jù)；當(dāng)系統(tǒng)時(shí)間進(jìn)入所述目標(biāo)存儲(chǔ)桶的保護(hù)期時(shí)間段內(nèi)時(shí)，將所述待遷移數(shù)據(jù)遷移至所述多級(jí)緩存介質(zhì)。由此可見，本申請(qǐng)?zhí)峁?shù)據(jù)遷移方法，充分發(fā)揮多平面的存儲(chǔ)結(jié)構(gòu)中各種存儲(chǔ)介質(zhì)的性能，在保護(hù)期內(nèi)將數(shù)據(jù)更加合理的分布在不同的介質(zhì)上，提高了多平面的存儲(chǔ)結(jié)構(gòu)中各種存儲(chǔ)介質(zhì)的利用率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及存儲(chǔ)技術(shù)領(lǐng)域，更具體地說(shuō)，涉及一種數(shù)據(jù)遷移方法、裝置及一種電子設(shè)備和一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

由于數(shù)據(jù)爆炸式的增長(zhǎng)，對(duì)內(nèi)存容量的需求越來(lái)越大，傳統(tǒng)方法通過(guò)增加cache容量帶來(lái)的效益反而會(huì)減少，而且在內(nèi)外存之間頻繁交換數(shù)據(jù)會(huì)產(chǎn)生較大的開銷。新型非易失性存儲(chǔ)器(Non-Volatile Memory，NVM)逐漸出現(xiàn)在人們的視野中，它可字節(jié)尋址、訪問(wèn)速度接近內(nèi)存以及非易失的特性對(duì)提高文件系統(tǒng)訪問(wèn)效率上有很大的作用。基于此，在相關(guān)技術(shù)中提出了一種多平面的存儲(chǔ)結(jié)構(gòu)，可以融合NVM、SSD(中文全稱：固態(tài)驅(qū)動(dòng)器，英文全稱：Solid State Disk)、DRAM(中文全稱：動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器，英文全稱：Dynamic RandomAccess Memory)、HDD(中文全稱：硬盤驅(qū)動(dòng)器，英文全稱：Hard Disk Drive)等。

因此，如何提高多平面的存儲(chǔ)結(jié)構(gòu)中各存儲(chǔ)介質(zhì)的利用率是本領(lǐng)域技術(shù)人員需要解決的技術(shù)問(wèn)題。

發(fā)明內(nèi)容

本申請(qǐng)的目的在于提供一種數(shù)據(jù)遷移方法、裝置及一種電子設(shè)備和一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，提高了多平面的存儲(chǔ)結(jié)構(gòu)中各存儲(chǔ)介質(zhì)的利用率。

為實(shí)現(xiàn)上述目的，本申請(qǐng)?zhí)峁┝艘环N數(shù)據(jù)遷移方法，包括：

基于所有存儲(chǔ)桶的訪問(wèn)熱度確定需要進(jìn)行數(shù)據(jù)遷移的目標(biāo)存儲(chǔ)桶；其中，所述目標(biāo)存儲(chǔ)桶包括非易失性的多級(jí)緩存介質(zhì)和硬盤驅(qū)動(dòng)器；

基于所述硬盤驅(qū)動(dòng)器的讀寫速度和所述硬盤驅(qū)動(dòng)器中數(shù)據(jù)的數(shù)據(jù)熱度確定待遷移數(shù)據(jù)；

當(dāng)系統(tǒng)時(shí)間進(jìn)入所述目標(biāo)存儲(chǔ)桶的保護(hù)期時(shí)間段內(nèi)時(shí)，將所述待遷移數(shù)據(jù)遷移至所述多級(jí)緩存介質(zhì)。

其中，所述基于所有存儲(chǔ)桶的訪問(wèn)熱度確定需要進(jìn)行遷移的目標(biāo)存儲(chǔ)桶，包括：

計(jì)算每個(gè)所述存儲(chǔ)桶的訪問(wèn)熱度，將所述訪問(wèn)熱度大于熱度閾值的存儲(chǔ)桶確定為目標(biāo)存儲(chǔ)桶。

其中，所述基于所述硬盤驅(qū)動(dòng)器的讀寫速度和所述硬盤驅(qū)動(dòng)器中數(shù)據(jù)的數(shù)據(jù)熱度確定待遷移數(shù)據(jù)，包括：

根據(jù)所述硬盤驅(qū)動(dòng)器的讀寫速度確定所述硬盤驅(qū)動(dòng)器對(duì)應(yīng)的訪問(wèn)量閾值，并確定所述硬盤驅(qū)動(dòng)器中數(shù)據(jù)的數(shù)據(jù)熱度；

判斷所述硬盤驅(qū)動(dòng)器中是否存在數(shù)據(jù)熱度大于所述硬盤驅(qū)動(dòng)器對(duì)應(yīng)的訪問(wèn)量閾值的第一目標(biāo)數(shù)據(jù)；

若是，則將所述待遷移數(shù)據(jù)確定為所述第一目標(biāo)數(shù)據(jù)；

若否，則重新進(jìn)入所述根據(jù)所述硬盤驅(qū)動(dòng)器的讀寫速度確定所述硬盤驅(qū)動(dòng)器對(duì)應(yīng)的訪問(wèn)量閾值的步驟。

其中，所述確定所述硬盤驅(qū)動(dòng)器中數(shù)據(jù)的數(shù)據(jù)熱度，包括：

將所述硬盤驅(qū)動(dòng)器中數(shù)據(jù)在第一時(shí)間窗口內(nèi)的下載總量確定為所述硬盤驅(qū)動(dòng)器中數(shù)據(jù)的數(shù)據(jù)熱度。

其中，所述確定所述硬盤驅(qū)動(dòng)器中數(shù)據(jù)的數(shù)據(jù)熱度，包括：

確定所述硬盤驅(qū)動(dòng)器中數(shù)據(jù)在多個(gè)時(shí)間窗口內(nèi)的下載總量，并確定每個(gè)所述時(shí)間窗口對(duì)應(yīng)的時(shí)間衰減系數(shù)；

基于每個(gè)所述時(shí)間窗口內(nèi)的下載總量和時(shí)間衰減系數(shù)計(jì)算所述硬盤驅(qū)動(dòng)器中數(shù)據(jù)的數(shù)據(jù)熱度。