[發(fā)明專利]一種熱點(diǎn)數(shù)據(jù)檢測方法及裝置

有效

• 申請?zhí)枺?/td>: 201310430587.5
• 申請日: 2013-09-18
• 公開（公告）號: CN103473335A
• 公開（公告）日: 2013-12-25
• 發(fā)明（設(shè)計(jì)）人: 李偉國;呂爍
• 申請（專利權(quán)）人: 浪潮（北京）電子信息產(chǎn)業(yè)有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京安信方達(dá)知識產(chǎn)權(quán)代理有限公司 11262
• 代理人: 王丹;栗若木

技術(shù)領(lǐng)域

本發(fā)明涉及磁盤陣列領(lǐng)域，尤其涉及一種熱點(diǎn)數(shù)據(jù)檢測方法及裝置。

背景技術(shù)

在實(shí)際應(yīng)用中對大容量存儲的需求促使RAID（Redundant?Arrays?of?Inexpensive?Disks，磁盤陣列）技術(shù)誕生，并形成了磁盤陣列產(chǎn)品。隨著云計(jì)算、云存儲等技術(shù)的不斷發(fā)展，信息存儲容量呈爆炸式增長，磁盤陣列的需求日益擴(kuò)大，存儲系統(tǒng)作為一種共享資源，需要同時(shí)向多種不同類型的應(yīng)用提供服務(wù)，這些不同類型的應(yīng)用具有不同的負(fù)載特征和性能需求，許多應(yīng)用在訪問存儲系統(tǒng)時(shí)，對隨機(jī)IO并發(fā)性有很高的要求。為了滿足應(yīng)用的要求，提高存儲系統(tǒng)的每秒鐘處理IO請求（I/O?per?second，IOPS）的能力，引入了熱點(diǎn)數(shù)據(jù)遷移、二級緩存等新技術(shù)，但這些技術(shù)都依賴于熱點(diǎn)數(shù)據(jù)識別技術(shù)。

現(xiàn)有的熱點(diǎn)數(shù)據(jù)識別技術(shù)主要包括，將存儲區(qū)域劃分為若干數(shù)據(jù)塊，對所有數(shù)據(jù)塊做精細(xì)化統(tǒng)計(jì)，統(tǒng)計(jì)每個(gè)數(shù)據(jù)塊被訪問的次數(shù)，根據(jù)被訪問的次數(shù)計(jì)算被訪問的頻率，再根據(jù)數(shù)據(jù)塊的被訪問的頻率判斷其是否是熱點(diǎn)數(shù)據(jù)區(qū)域。

在現(xiàn)有的方法中，只考慮了訪問的頻率，在實(shí)際的應(yīng)用中由于應(yīng)用數(shù)據(jù)讀寫的相關(guān)性，只單純地考慮IO頻繁程度和塊粒度具有一定的局限性。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是提供一種熱點(diǎn)數(shù)據(jù)檢測方法及裝置，能夠使熱點(diǎn)數(shù)據(jù)檢測更加精準(zhǔn)與可靠，增強(qiáng)數(shù)據(jù)遷移的的效率。

為解決上述技術(shù)問題，本發(fā)明的一種熱點(diǎn)數(shù)據(jù)檢測方法，包括：

根據(jù)數(shù)據(jù)塊k與一個(gè)或多個(gè)數(shù)據(jù)塊的相關(guān)系數(shù)以及數(shù)據(jù)塊k的讀寫頻次確定數(shù)據(jù)塊k的價(jià)值，所述相關(guān)系數(shù)表示兩個(gè)數(shù)據(jù)塊之間的讀寫關(guān)聯(lián)程度；

根據(jù)所述數(shù)據(jù)塊k的價(jià)值及預(yù)先設(shè)定的數(shù)據(jù)遷移策略確定所述數(shù)據(jù)塊k是否為熱點(diǎn)數(shù)據(jù)。

進(jìn)一步地，所述根據(jù)數(shù)據(jù)塊k與一個(gè)或多個(gè)數(shù)據(jù)塊的相關(guān)系數(shù)以及數(shù)據(jù)塊k的讀寫頻次確定數(shù)據(jù)塊k的價(jià)值，包括：

根據(jù)確定數(shù)據(jù)塊k的價(jià)值，其中，RL_kj為數(shù)據(jù)塊k與數(shù)據(jù)塊j的相關(guān)系數(shù)，M為與數(shù)據(jù)塊k相關(guān)的數(shù)據(jù)塊的數(shù)量，W_i和R_i分別為數(shù)據(jù)塊k在第i時(shí)間段的寫頻次和讀頻次，P_i為數(shù)據(jù)塊k第i時(shí)間段的平均讀寫粒度，N為時(shí)間段的總數(shù)量。

進(jìn)一步地，所述RL_kj為根據(jù)確定，其中，Q_k為數(shù)據(jù)塊k的讀寫次數(shù)向量，表示為Q_k(q_k1，q_k2，....q_kN)，Q_k中的元素表示數(shù)據(jù)塊k在第i時(shí)間段的寫頻次與讀頻次之和，Q_j為數(shù)據(jù)塊j的讀寫次數(shù)向量，表示為Q_j(q_j1，q_j2，....q_jN)，Q_j中的元素表示數(shù)據(jù)塊j在第i時(shí)間段的寫頻次與讀頻次之和。

進(jìn)一步地，在確定數(shù)據(jù)塊k的價(jià)值前，判斷所述數(shù)據(jù)塊k與所述一個(gè)或多個(gè)數(shù)據(jù)塊是否具有相關(guān)性，包括：判斷兩數(shù)據(jù)塊在每個(gè)時(shí)間段上是否具有相同的讀寫變化。

進(jìn)一步地，所述判斷兩數(shù)據(jù)塊在每個(gè)時(shí)間段上是否具有相同的讀寫變化，包括：

對兩數(shù)據(jù)塊的操作標(biāo)記向量進(jìn)行匹配，所述操作標(biāo)記向量為N維，操作標(biāo)記向量的元素表示數(shù)據(jù)塊在相應(yīng)時(shí)間段上是否有讀/寫操作，如果兩數(shù)據(jù)塊的操作標(biāo)記向量的每個(gè)元素均匹配，則判斷兩數(shù)據(jù)塊具有相同的讀寫變化。

進(jìn)一步地，所述方法還包括：

在確定數(shù)據(jù)塊k的價(jià)值前，截取應(yīng)用的IO請求，確定請求讀寫的數(shù)據(jù)塊，統(tǒng)計(jì)數(shù)據(jù)塊的讀寫頻次，按照數(shù)據(jù)塊的讀寫頻次更新數(shù)據(jù)塊的讀寫次數(shù)向量，并更新數(shù)據(jù)塊的操作標(biāo)記向量。

進(jìn)一步地，一種熱點(diǎn)數(shù)據(jù)檢測裝置，包括：熱點(diǎn)數(shù)據(jù)關(guān)聯(lián)度計(jì)算模塊和策略模塊，其中：

所述熱點(diǎn)數(shù)據(jù)關(guān)聯(lián)度計(jì)算模塊，用于根據(jù)數(shù)據(jù)塊k與一個(gè)或多個(gè)數(shù)據(jù)塊的相關(guān)系數(shù)以及數(shù)據(jù)塊k的讀寫頻次確定數(shù)據(jù)塊k的價(jià)值，所述相關(guān)系數(shù)表示兩個(gè)數(shù)據(jù)塊之間的讀寫關(guān)聯(lián)程度；

所述策略模塊，用于根據(jù)所述數(shù)據(jù)塊k的價(jià)值及預(yù)先設(shè)定的數(shù)據(jù)遷移策略確定所述數(shù)據(jù)塊k是否為熱點(diǎn)數(shù)據(jù)。

進(jìn)一步地，所述熱點(diǎn)數(shù)據(jù)關(guān)聯(lián)度計(jì)算模塊根據(jù)數(shù)據(jù)塊k與一個(gè)或多個(gè)數(shù)據(jù)塊的相關(guān)系數(shù)以及數(shù)據(jù)塊k的讀寫頻次確定數(shù)據(jù)塊k的價(jià)值，包括：