[發(fā)明專利]一種分布式存儲(chǔ)方法、計(jì)算機(jī)設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010199725.3
• 申請(qǐng)日: 2020-03-20
• 公開（公告）號(hào): CN111475108A
• 公開（公告）日: 2020-07-31
• 發(fā)明（設(shè)計(jì)）人: 鄭映鋒
• 申請(qǐng)（專利權(quán)）人: 平安國(guó)際智慧城市科技股份有限公司
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06
• 代理公司: 深圳中一聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 44414
• 代理人: 李娟

本申請(qǐng)適用于計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域，提供了分布式存儲(chǔ)方法、計(jì)算機(jī)設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包括：通過(guò)獲取屬于同一原始文件的分片文件在預(yù)設(shè)時(shí)段內(nèi)的訪問量；所述分片文件為對(duì)原始文件進(jìn)行分片處理得到；根據(jù)所述訪問量計(jì)算所述原始文件的文件熱度，并根據(jù)所述文件熱度預(yù)測(cè)每個(gè)所述分片文件的副本需求量；根據(jù)所述副本需求量調(diào)整所述分片文件的副本數(shù)量。通過(guò)根據(jù)原始文件的所有分片文件的訪問量計(jì)算原始文件的文件熱度，并根據(jù)文件熱度預(yù)測(cè)每個(gè)所述分片文件的預(yù)測(cè)副本數(shù)量，最后根據(jù)預(yù)測(cè)副本數(shù)量和各個(gè)分片文件的實(shí)時(shí)數(shù)量，調(diào)整各個(gè)所述分片文件的副本數(shù)量，在保證數(shù)據(jù)可靠性的前提下，降低存儲(chǔ)節(jié)點(diǎn)的負(fù)載，達(dá)到負(fù)載均衡的目的。

技術(shù)領(lǐng)域

本申請(qǐng)屬于計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域，尤其涉及一種分布式存儲(chǔ)方法、計(jì)算機(jī)設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

基于點(diǎn)對(duì)點(diǎn)(peer-to-peer，P2P)網(wǎng)絡(luò)存儲(chǔ)技術(shù)由于部署靈活，接入門檻低等特性正在高速發(fā)展，國(guó)外比較流行的項(xiàng)目比如星際文件系統(tǒng)(Inter-Planetary File System，IPFS)等都是基于P2P技術(shù)實(shí)現(xiàn)準(zhǔn)商業(yè)化的分布式存儲(chǔ)服務(wù)。基于P2P節(jié)點(diǎn)的不可信性和隨機(jī)性，只有通過(guò)冗余存儲(chǔ)數(shù)據(jù)副本的方式才能確保數(shù)據(jù)的完整性，數(shù)據(jù)處理終端需要在基于一定冗余度的前提下，才能獲取到完整的數(shù)據(jù)。現(xiàn)有技術(shù)中通過(guò)多次、大量的數(shù)據(jù)副本處理和存儲(chǔ)，保證了數(shù)據(jù)的完整性，但是高冗余度的數(shù)據(jù)也帶來(lái)了巨大的存儲(chǔ)壓力的問題。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了分布式存儲(chǔ)方法、計(jì)算機(jī)設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，可以解決現(xiàn)有技術(shù)中在數(shù)據(jù)副本處理和存儲(chǔ)時(shí)冗余度高、存儲(chǔ)壓力大問題。

第一方面，本申請(qǐng)實(shí)施例提供了一種分布式存儲(chǔ)方法，包括：

獲取屬于同一原始文件的分片文件在預(yù)設(shè)時(shí)段內(nèi)的訪問量；所述分片文件為對(duì)原始文件進(jìn)行分片處理得到；

根據(jù)所述訪問量計(jì)算所述原始文件的文件熱度，并根據(jù)所述文件熱度預(yù)測(cè)每個(gè)所述分片文件的副本需求量；

根據(jù)所述副本需求量調(diào)整所述分片文件的副本數(shù)量。

應(yīng)理解，通過(guò)根據(jù)原始文件的所有分片文件的訪問量計(jì)算原始文件的文件熱度，并根據(jù)文件熱度預(yù)測(cè)每個(gè)所述分片文件的預(yù)測(cè)副本數(shù)量，最后根據(jù)預(yù)測(cè)副本數(shù)量和各個(gè)分片文件的實(shí)時(shí)數(shù)量，調(diào)整各個(gè)所述分片文件的副本數(shù)量，在保證數(shù)據(jù)可靠性的前提下，降低存儲(chǔ)節(jié)點(diǎn)的負(fù)載，達(dá)到負(fù)載均衡的目的。

第二方面，本申請(qǐng)實(shí)施例提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)以下步驟：

獲取屬于同一原始文件的分片文件在預(yù)設(shè)時(shí)段內(nèi)的訪問量；所述分片文件為對(duì)原始文件進(jìn)行分片處理得到；

根據(jù)所述訪問量計(jì)算所述原始文件的文件熱度，并根據(jù)所述文件熱度預(yù)測(cè)每個(gè)所述分片文件的副本需求量；

根據(jù)所述副本需求量調(diào)整所述分片文件的副本數(shù)量。

第三方面，本申請(qǐng)實(shí)施例提供了一種計(jì)算機(jī)設(shè)備，包括：

獲取單元，用于獲取屬于同一原始文件的分片文件在預(yù)設(shè)時(shí)段內(nèi)的訪問量；所述分片文件為對(duì)原始文件進(jìn)行分片處理得到；

預(yù)測(cè)單元，用于根據(jù)所述訪問量計(jì)算所述原始文件的文件熱度，并根據(jù)所述文件熱度預(yù)測(cè)每個(gè)所述分片文件的副本需求量；

調(diào)整單元，用于根據(jù)所述副本需求量調(diào)整所述分片文件的副本數(shù)量。

第四方面，本申請(qǐng)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序包括程序指令，所述程序指令當(dāng)被處理器執(zhí)行時(shí)使所述處理器執(zhí)行上述第一方面的方法。