[發(fā)明專利]一種面向冷熱數(shù)據(jù)的分級存儲系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 202110476035.2
• 申請日: 2021-04-29
• 公開（公告）號: CN112948398B
• 公開（公告）日: 2023-02-24
• 發(fā)明（設(shè)計(jì)）人: 范淑煥;侯孟書;許佳欣;李玉軍;周世杰
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/21;G06F3/06
• 代理公司: 成都金英專利代理事務(wù)所(普通合伙) 51218
• 代理人: 袁英

本發(fā)明公開了一種面向冷熱數(shù)據(jù)的分級存儲系統(tǒng)及方法，系統(tǒng)包括數(shù)據(jù)采集模塊、冷熱數(shù)據(jù)判定模塊和冷熱數(shù)據(jù)遷移模塊；其中，數(shù)據(jù)采集模塊用于采集用戶數(shù)據(jù)訪問請求；冷熱數(shù)據(jù)判定模塊用于分析數(shù)據(jù)訪問請求同時(shí)根據(jù)分析出的溫度計(jì)算相關(guān)信息計(jì)算數(shù)據(jù)溫度，并將溫度計(jì)算相關(guān)信息和數(shù)據(jù)溫度更新并重新封裝至原始數(shù)據(jù)；冷熱數(shù)據(jù)遷移模塊用于對熱庫中的數(shù)據(jù)進(jìn)行監(jiān)控，將不符合熱庫中兩個(gè)設(shè)定閾值的熱數(shù)據(jù)遷移到冷庫中，并根據(jù)數(shù)據(jù)訪問特征動態(tài)調(diào)整設(shè)定閾值。本發(fā)明基于數(shù)據(jù)的訪問時(shí)間、訪問頻率和數(shù)據(jù)關(guān)聯(lián)性三個(gè)方面的特征，對數(shù)據(jù)的溫度進(jìn)行量化，實(shí)現(xiàn)對冷熱數(shù)據(jù)的判定和冷熱數(shù)據(jù)的分離存儲。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)存儲技術(shù)領(lǐng)域，尤其涉及一種面向冷熱數(shù)據(jù)的分級存儲系統(tǒng)及方法。

背景技術(shù)

數(shù)據(jù)量激增帶來的存儲需求不斷提高，企業(yè)通過建立分層存儲架構(gòu)來優(yōu)化存儲空間。為了提高分層存儲系統(tǒng)中的空間利用率，企業(yè)將數(shù)據(jù)分為高頻訪問的熱數(shù)據(jù)與不常訪問冷數(shù)據(jù)，并將數(shù)據(jù)訪問特征與存儲設(shè)備性能相匹配，以避免冷數(shù)據(jù)駐留于高性能存儲層造成的存儲污染。而冷熱數(shù)據(jù)的識別精度會直接影響到分層存儲系統(tǒng)的數(shù)據(jù)存取效率。

因此，開展面向冷熱數(shù)據(jù)的存儲機(jī)制研究具有重要意義。對冷熱數(shù)據(jù)的研究起源于計(jì)算機(jī)高速緩存的分級設(shè)計(jì)，緩存替換中的經(jīng)典算法大多是基于數(shù)據(jù)的訪問時(shí)間、訪問頻率等數(shù)據(jù)的單一特征來決定數(shù)據(jù)是否需要被換出。這些算法對數(shù)據(jù)訪問特征的考慮都具有一定的局限性，且無法很好的適應(yīng)數(shù)據(jù)訪問模式的變化。

如公開號為CN111427969A的專利申請公開了一種分級存儲系統(tǒng)的數(shù)據(jù)替換方法，該方法包括：當(dāng)任一節(jié)點(diǎn)的持久性內(nèi)存空間使用率大于或等于替換閾值時(shí)，任一節(jié)點(diǎn)自動成為遷移節(jié)點(diǎn)，遷移節(jié)點(diǎn)通過遠(yuǎn)程過程調(diào)用向其他節(jié)點(diǎn)發(fā)送數(shù)據(jù)替換請求，以便其他節(jié)點(diǎn)根據(jù)數(shù)據(jù)替換請求提議并發(fā)送備選冷數(shù)據(jù)對應(yīng)的結(jié)果；遷移節(jié)點(diǎn)根據(jù)結(jié)果匯總篩選備選冷數(shù)據(jù)，做出最終數(shù)據(jù)替換決策；遷移節(jié)點(diǎn)根據(jù)最終數(shù)據(jù)替換決策，在持久性內(nèi)存和外存之間交換冷熱數(shù)據(jù)，并通過版本信息以保證數(shù)據(jù)一致性。該方案雖然能夠以較低的性能開銷，高效地識別出持久性內(nèi)存中的冷數(shù)據(jù)并將該冷數(shù)據(jù)替換到外存，但是還存在對數(shù)據(jù)存儲無法適應(yīng)數(shù)據(jù)訪問模式變化的問題。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種面向冷熱數(shù)據(jù)的分級存儲系統(tǒng)及方法，基于數(shù)據(jù)的訪問時(shí)間、訪問頻率和數(shù)據(jù)關(guān)聯(lián)性三個(gè)方面的特征，對數(shù)據(jù)的溫度進(jìn)行量化，依據(jù)此溫度對數(shù)據(jù)未來的訪問模式進(jìn)行估計(jì)，實(shí)現(xiàn)對冷熱數(shù)據(jù)的判定。同時(shí)針對數(shù)據(jù)存儲無法適應(yīng)數(shù)據(jù)訪問模式變化的問題，本發(fā)明根據(jù)熱數(shù)據(jù)庫中數(shù)據(jù)溫度分布情況來動態(tài)調(diào)整該庫的存儲閾值，將超過閾值的數(shù)據(jù)遷移至冷數(shù)據(jù)庫以完成冷熱數(shù)據(jù)的分離存儲。

本發(fā)明的目的是通過以下技術(shù)方案來實(shí)現(xiàn)的：

一種面向冷熱數(shù)據(jù)的分級存儲系統(tǒng)，包括數(shù)據(jù)采集模塊、冷熱數(shù)據(jù)判定模塊和冷熱數(shù)據(jù)遷移模塊。其中，數(shù)據(jù)采集模塊用于利用系統(tǒng)前端采集用戶輸入的數(shù)據(jù)，即數(shù)據(jù)訪問請求，并將數(shù)據(jù)訪問請求發(fā)送至系統(tǒng)后臺進(jìn)行溫度判定；冷熱數(shù)據(jù)判定模塊用于分析數(shù)據(jù)訪問請求同時(shí)根據(jù)分析出的溫度計(jì)算相關(guān)信息對數(shù)據(jù)的溫度進(jìn)行計(jì)算，并將溫度計(jì)算相關(guān)信息和計(jì)算出的溫度信息更新并重新封裝至原始數(shù)據(jù)；冷熱數(shù)據(jù)遷移模塊用于對熱庫中的數(shù)據(jù)進(jìn)行監(jiān)控，將不符合熱庫中兩個(gè)設(shè)定閾值的熱數(shù)據(jù)遷移到冷庫中，并根據(jù)數(shù)據(jù)訪問特征動態(tài)調(diào)整設(shè)定閾值。

具體的，冷熱數(shù)據(jù)判定模塊根據(jù)溫度計(jì)算相關(guān)信息對數(shù)據(jù)的溫度進(jìn)行計(jì)算過程具體包括：先讀取數(shù)據(jù)訪問請求，然后根據(jù)數(shù)據(jù)訪問讀取數(shù)據(jù)key；再根據(jù)key獲取溫度計(jì)算相關(guān)信息，溫度計(jì)算相關(guān)信息包括數(shù)據(jù)包含的時(shí)間戳、關(guān)聯(lián)數(shù)據(jù)以及原有溫度信息；利用溫度計(jì)算相關(guān)信息并結(jié)合推導(dǎo)出的牛頓冷卻定律公式計(jì)算出該數(shù)據(jù)當(dāng)前數(shù)據(jù)溫度，并更新其關(guān)聯(lián)數(shù)據(jù)溫度。

具體的，冷熱數(shù)據(jù)判定模塊還可以根據(jù)對用戶輸入數(shù)據(jù)的數(shù)據(jù)庫操作，來對數(shù)據(jù)溫度進(jìn)行調(diào)整，調(diào)整過程具體包括：

當(dāng)發(fā)生數(shù)據(jù)插入操作時(shí)，直接將溫度上升變量W作為數(shù)據(jù)插入的初始溫度值；