[發明專利]一種冷熱數據冗余方法、裝置、設備及存儲介質

在審

• 申請號: 202211259603.4
• 申請日: 2022-10-14
• 公開（公告）號: CN115543690A
• 公開（公告）日: 2022-12-30
• 發明（設計）人: 葛士磊;任俊賢;趙超浩
• 申請（專利權）人: 濟南浪潮數據技術有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F3/06;G06F11/10
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 秦曉君

本申請公開了一種冷熱數據冗余方法、裝置、設備及存儲介質，涉及數據處理技術領域，包括：記錄獲取到的當前數據的訪問頻次和最新訪問時間間隔；對訪問頻次和最新訪問時間間隔進行線性歸一化處理；基于處理后訪問頻次和處理后最新訪問時間間隔對數據進行熱數據和冷數據的劃分；如果數據為熱數據，則通過多副本方式對熱數據進行存儲以完成熱數據的冗余備份；如果數據為冷數據，則通過糾刪碼方式對冷數據進行存儲以完成冷數據的冗余備份。本申請通過綜合考慮數據的訪問頻次和最新訪問時間兩種因素劃分熱數據與冷數據，能夠提高冷熱數據劃分的合理性，然后分別按照分層存儲策略對冷熱數據進行分層冗余保護，從而能夠兼顧存儲的讀寫性能和容量利用率。

技術領域

本發明涉及數據處理技術領域，特別涉及一種冷熱數據冗余方法、裝置、設備及存儲介質。

背景技術

當前，大數據時代的發展，離不開海量的數據存儲，數據對各行業都至關重要。因此，對數據的有效保護，一直是研究的熱點。同時，針對數據的訪問頻次或訪問時間不同的數據，可分為冷熱數據進行分層存儲，從而進行數據的分層冗余保護。但是當前多是僅僅考慮數據的訪問頻次或訪問最新時間為劃分冷熱數據的標準，也就是說，單一的考慮數據的訪問頻次或最新訪問時間，不能準確的反應數據是否為冷熱數據，也即冷熱數據劃分存在歧義，訪問頻次高但最新訪問時間較久的數據可能依然劃分為熱數據處理，訪問頻次低但客戶剛訪問沒多久，依然存在著近期訪問的可能，這種數據也有可能被劃分為冷數據。

因此，如何提供一種解決上述技術問題的方案是本領域技術人員目前需要解決的問題。

發明內容

有鑒于此，本發明的目的在于提供一種冷熱數據冗余方法、裝置、設備及存儲介質，能夠提高冷熱數據劃分的合理性，還能夠提升存儲的讀寫性能，和提高存儲的容量利用率。其具體方案如下：

第一方面，本申請公開了一種冷熱數據冗余方法，包括：

記錄獲取到的當前數據的訪問頻次和最新訪問時間間隔；

對所述訪問頻次和所述最新訪問時間間隔進行線性歸一化處理得到處理后訪問頻次和處理后最新訪問時間間隔；

基于所述處理后訪問頻次和所述處理后最新訪問時間間隔對所述數據進行熱數據和冷數據的劃分得到相應的劃分結果；

如果所述劃分結果表明所述數據為熱數據，則通過多副本方式對所述熱數據進行存儲以完成所述熱數據的冗余備份；

如果所述劃分結果表明所述數據為冷數據，則通過糾刪碼方式對所述冷數據進行存儲以完成所述冷數據的冗余備份。

可選的，所述對所述訪問頻次和所述最新訪問時間間隔進行線性歸一化處理得到處理后訪問頻次和處理后最新訪問時間間隔，包括：

利用預設線性歸一化方法對所述訪問頻次和所述最新訪問時間間隔進行線性歸一化處理得到處理后訪問頻次和處理后最新訪問時間間隔。

可選的，所述利用預設線性歸一化方法對所述訪問頻次和所述最新訪問時間間隔進行線性歸一化處理得到處理后訪問頻次和處理后最新訪問時間間隔，包括：

確定所述訪問頻次得到倒數，得到第一目標倒數；

確定所述最新訪問時間間隔的倒數，得到第二目標倒數；

利用預設線性歸一化方法對所述第一目標倒數和所述第二目標倒數進行歸一化處理，得到處理后訪問頻次和處理后最新訪問時間間隔。

可選的，所述基于所述處理后訪問頻次和所述處理后最新訪問時間間隔對所述數據進行熱數據和冷數據的劃分得到相應的劃分結果，包括：

利用預先構建的懲罰函數對所述處理后訪問頻次和所述處理后最新訪問時間間隔進行計算得到相應的計算結果；

基于所述計算結果對所述數據進行熱數據和冷數據的劃分得到相應的劃分結果。