[發(fā)明專利]數(shù)據(jù)存儲(chǔ)管理方法、裝置和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910197865.4
• 申請(qǐng)日: 2019-03-15
• 公開（公告）號(hào): CN111694505B
• 公開（公告）日: 2021-11-02
• 發(fā)明（設(shè)計(jì)）人: 呂蘇娜
• 申請(qǐng)（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06;G06F16/215
• 代理公司: 中國貿(mào)促會(huì)專利商標(biāo)事務(wù)所有限公司 11038
• 代理人: 孫玉;方亮

本公開涉及一種數(shù)據(jù)存儲(chǔ)管理方法、裝置和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，涉及數(shù)據(jù)存儲(chǔ)技術(shù)領(lǐng)域。本公開的方法包括：獲取大數(shù)據(jù)集群內(nèi)數(shù)據(jù)存儲(chǔ)單元在對(duì)應(yīng)的預(yù)設(shè)時(shí)間區(qū)間內(nèi)的訪問次數(shù)；根據(jù)數(shù)據(jù)存儲(chǔ)單元在對(duì)應(yīng)的預(yù)設(shè)時(shí)間區(qū)間內(nèi)的訪問次數(shù)，確定數(shù)據(jù)存儲(chǔ)單元是否屬于待銷毀存儲(chǔ)單元；在數(shù)據(jù)存儲(chǔ)單元屬于待銷毀存儲(chǔ)單元的情況下，發(fā)出待銷毀提醒。本公開的方法能夠自動(dòng)對(duì)大數(shù)據(jù)集群中的數(shù)據(jù)存儲(chǔ)進(jìn)行有效管理，及時(shí)將不再需要的數(shù)據(jù)存儲(chǔ)單元進(jìn)行銷毀，釋放存儲(chǔ)空間，提高數(shù)據(jù)的查詢效率和數(shù)據(jù)存儲(chǔ)管理的效率。

技術(shù)領(lǐng)域

本公開涉及數(shù)據(jù)存儲(chǔ)技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)存儲(chǔ)管理方法、裝置和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，數(shù)據(jù)呈現(xiàn)爆炸式增長。數(shù)據(jù)可以存儲(chǔ)于大數(shù)據(jù)集群或者數(shù)據(jù)倉庫中，用戶可以進(jìn)行查詢、添加、刪除等操作。

目前，隨著數(shù)據(jù)量不斷增加，工作人員可能根據(jù)實(shí)際需求對(duì)數(shù)據(jù)進(jìn)行篩查，將一些不需要的數(shù)據(jù)存儲(chǔ)單元進(jìn)行刪除。

發(fā)明內(nèi)容

發(fā)明人發(fā)現(xiàn)：由工作人員進(jìn)行數(shù)據(jù)篩查費(fèi)時(shí)費(fèi)力，可能造成誤刪除，當(dāng)數(shù)據(jù)開發(fā)人員利用某一歷史數(shù)據(jù)進(jìn)行開發(fā)時(shí)，該數(shù)據(jù)有可能因?yàn)榭臻g問題會(huì)刪除，給開發(fā)人員開發(fā)帶來困難。如果不進(jìn)行存儲(chǔ)管理和數(shù)據(jù)的刪除，數(shù)據(jù)存儲(chǔ)單元隨著時(shí)間的推移越來越胖，數(shù)據(jù)的查詢速度緩慢。

本公開所要解決的一個(gè)技術(shù)問題是：如何對(duì)數(shù)據(jù)存儲(chǔ)進(jìn)行有效管理，提高數(shù)據(jù)存儲(chǔ)管理的效率。

根據(jù)本公開的一些實(shí)施例，提供的一種數(shù)據(jù)存儲(chǔ)管理方法，包括：獲取大數(shù)據(jù)集群內(nèi)數(shù)據(jù)存儲(chǔ)單元在對(duì)應(yīng)的預(yù)設(shè)時(shí)間區(qū)間內(nèi)的訪問次數(shù)；根據(jù)數(shù)據(jù)存儲(chǔ)單元在對(duì)應(yīng)的預(yù)設(shè)時(shí)間區(qū)間內(nèi)的訪問次數(shù)，確定數(shù)據(jù)存儲(chǔ)單元是否屬于待銷毀存儲(chǔ)單元；在數(shù)據(jù)存儲(chǔ)單元屬于待銷毀存儲(chǔ)單元的情況下，發(fā)出待銷毀提醒。

在一些實(shí)施例中，獲取大數(shù)據(jù)集群內(nèi)數(shù)據(jù)存儲(chǔ)單元在對(duì)應(yīng)的預(yù)設(shè)時(shí)間區(qū)間內(nèi)的訪問次數(shù)包括：周期性查詢數(shù)據(jù)存儲(chǔ)單元的最后一次訪問時(shí)間；根據(jù)數(shù)據(jù)存儲(chǔ)單元的最后一次訪問時(shí)間的變化，更新訪問次數(shù)的記錄；根據(jù)訪問次數(shù)的記錄確定在對(duì)應(yīng)的預(yù)設(shè)時(shí)間區(qū)間內(nèi)的訪問次數(shù)。

在一些實(shí)施例中，獲取大數(shù)據(jù)集群內(nèi)數(shù)據(jù)存儲(chǔ)單元在對(duì)應(yīng)的預(yù)設(shè)時(shí)間區(qū)間內(nèi)的訪問次數(shù)包括：在數(shù)據(jù)存儲(chǔ)單元為數(shù)據(jù)表的情況下，根據(jù)數(shù)據(jù)表所處的時(shí)間階段，獲取數(shù)據(jù)表在時(shí)間階段對(duì)應(yīng)的預(yù)設(shè)時(shí)間區(qū)間內(nèi)的訪問次數(shù)；其中，數(shù)據(jù)表被設(shè)置生命周期，生命周期被劃分為多個(gè)時(shí)間階段。

在一些實(shí)施例中，獲取大數(shù)據(jù)集群內(nèi)數(shù)據(jù)存儲(chǔ)單元在對(duì)應(yīng)的預(yù)設(shè)時(shí)間區(qū)間內(nèi)的訪問次數(shù)包括：在數(shù)據(jù)存儲(chǔ)單元為分區(qū)文件的情況下，每隔預(yù)設(shè)時(shí)間段獲取分區(qū)文件在對(duì)應(yīng)的預(yù)設(shè)時(shí)間區(qū)間內(nèi)的訪問次數(shù)。

在一些實(shí)施例中，根據(jù)數(shù)據(jù)存儲(chǔ)單元在對(duì)應(yīng)的預(yù)設(shè)時(shí)間區(qū)間內(nèi)的訪問次數(shù)，確定數(shù)據(jù)存儲(chǔ)單元是否屬于待銷毀存儲(chǔ)單元包括：在數(shù)據(jù)存儲(chǔ)單元為數(shù)據(jù)表的情況下，根據(jù)數(shù)據(jù)表所處的時(shí)間階段獲取時(shí)間階段對(duì)應(yīng)的第一訪問次數(shù)閾值；在數(shù)據(jù)表在對(duì)應(yīng)的預(yù)設(shè)時(shí)間區(qū)間內(nèi)的訪問次數(shù)小于或等于第一訪問次數(shù)閾值的情況下，確定數(shù)據(jù)表屬于待銷毀存儲(chǔ)單元；其中，不同時(shí)間階段對(duì)應(yīng)的第一訪問次數(shù)閾值相同或不同。

在一些實(shí)施例中，根據(jù)數(shù)據(jù)存儲(chǔ)單元在對(duì)應(yīng)的預(yù)設(shè)時(shí)間區(qū)間內(nèi)的訪問次數(shù)，確定數(shù)據(jù)存儲(chǔ)單元是否屬于待銷毀存儲(chǔ)單元包括：在數(shù)據(jù)存儲(chǔ)單元為分區(qū)文件的情況下，在分區(qū)文件在對(duì)應(yīng)的預(yù)設(shè)時(shí)間區(qū)間內(nèi)的訪問次數(shù)小于或等于第二訪問次數(shù)閾值的情況下，確定分區(qū)文件屬于待銷毀存儲(chǔ)單元。

在一些實(shí)施例中，該方法還包括：根據(jù)數(shù)據(jù)表在時(shí)間階段對(duì)應(yīng)的預(yù)設(shè)時(shí)間區(qū)間內(nèi)的訪問次數(shù)，將數(shù)據(jù)表分配至不同的存儲(chǔ)設(shè)備進(jìn)行存儲(chǔ)。

在一些實(shí)施例中，將數(shù)據(jù)存儲(chǔ)單元分配至不同的存儲(chǔ)設(shè)備進(jìn)行存儲(chǔ)包括：將數(shù)據(jù)表在時(shí)間階段對(duì)應(yīng)的預(yù)設(shè)時(shí)間區(qū)間內(nèi)的訪問次數(shù)與時(shí)間階段對(duì)應(yīng)的多個(gè)訪問次數(shù)閾值進(jìn)行比對(duì)，確定數(shù)據(jù)表的數(shù)據(jù)熱度等級(jí)；根據(jù)數(shù)據(jù)表的數(shù)據(jù)熱度等級(jí)，將數(shù)據(jù)表分配至對(duì)應(yīng)性能的存儲(chǔ)設(shè)備進(jìn)行存儲(chǔ)。