[發(fā)明專(zhuān)利]分布式集群存儲(chǔ)方法、系統(tǒng)、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910936872.1
• 申請(qǐng)日: 2019-09-29
• 公開(kāi)（公告）號(hào): CN110650208A
• 公開(kāi)（公告）日: 2020-01-03
• 發(fā)明（設(shè)計(jì)）人: 劉子寧
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京浪潮數(shù)據(jù)技術(shù)有限公司
• 主分類(lèi)號(hào): H04L29/08
• 分類(lèi)號(hào): H04L29/08;G06N3/04
• 代理公司: 11227 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司
• 代理人: 劉新雷

本申請(qǐng)公開(kāi)了一種分布式集群存儲(chǔ)方法、系統(tǒng)、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包括：獲取存儲(chǔ)集群中每個(gè)節(jié)點(diǎn)的存儲(chǔ)性能信息；利用每個(gè)節(jié)點(diǎn)的存儲(chǔ)性能信息，得到每個(gè)節(jié)點(diǎn)的獎(jiǎng)勵(lì)值；獲取每個(gè)節(jié)點(diǎn)的狀態(tài)信息；利用智能代理模型接收每個(gè)節(jié)點(diǎn)的獎(jiǎng)勵(lì)值和狀態(tài)信息，利用每個(gè)節(jié)點(diǎn)的獎(jiǎng)勵(lì)值和狀態(tài)信息，輸出對(duì)應(yīng)的數(shù)據(jù)存儲(chǔ)分配任務(wù)，完成數(shù)據(jù)的存儲(chǔ)分配；本申請(qǐng)根據(jù)存儲(chǔ)集群中各節(jié)點(diǎn)的存儲(chǔ)性能信息設(shè)置獎(jiǎng)勵(lì)值，綜合各節(jié)點(diǎn)的狀態(tài)信息，利用基于神經(jīng)網(wǎng)絡(luò)模型，利用策略梯度算法和存儲(chǔ)集群中節(jié)點(diǎn)的獎(jiǎng)勵(lì)值優(yōu)化神經(jīng)網(wǎng)絡(luò)參數(shù)，利用歷史節(jié)點(diǎn)的狀態(tài)信息進(jìn)行訓(xùn)練而成的智能代理模型進(jìn)行分析，輸出數(shù)據(jù)存儲(chǔ)分配任務(wù)，確保了各節(jié)點(diǎn)負(fù)載均衡，分配結(jié)果穩(wěn)定。

技術(shù)領(lǐng)域

本發(fā)明涉及分布式存儲(chǔ)領(lǐng)域，特別涉及一種分布式集群存儲(chǔ)方法、系統(tǒng)、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

在當(dāng)今的大數(shù)據(jù)時(shí)代，海量的數(shù)據(jù)存儲(chǔ)占用大量的存儲(chǔ)空間。在分布式系統(tǒng)中，數(shù)據(jù)存儲(chǔ)算法主要有兩個(gè)依據(jù)：均勻性和穩(wěn)定性。其中均勻性保證不同節(jié)點(diǎn)負(fù)載均衡，穩(wěn)定性保證分布結(jié)果穩(wěn)定。目前，分布式系統(tǒng)中數(shù)據(jù)存儲(chǔ)技術(shù)主要有以下幾種方式Hash、一致性Hash、帶負(fù)載上限的一致性Hash、帶虛擬節(jié)點(diǎn)的一致性Hash和分片，但上述幾種數(shù)據(jù)分配方法，均無(wú)法保證數(shù)據(jù)存儲(chǔ)的均勻性和穩(wěn)定性，無(wú)法確保數(shù)據(jù)能夠分配到最優(yōu)的節(jié)點(diǎn)。

為此，需要進(jìn)一步改進(jìn)的使數(shù)據(jù)能夠分配到最優(yōu)的節(jié)點(diǎn)，確保數(shù)據(jù)存儲(chǔ)的均勻性和穩(wěn)定性的分布式集群存儲(chǔ)方法。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提供一種分布式集群存儲(chǔ)方法、系統(tǒng)、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，使數(shù)據(jù)能夠分配到最優(yōu)的節(jié)點(diǎn)，保證數(shù)據(jù)存儲(chǔ)的均勻性和穩(wěn)定性。其具體方案如下：

一種分布式集群存儲(chǔ)方法，包括：

獲取存儲(chǔ)集群中每個(gè)節(jié)點(diǎn)的存儲(chǔ)性能信息；

利用每個(gè)節(jié)點(diǎn)的存儲(chǔ)性能信息，得到每個(gè)節(jié)點(diǎn)的獎(jiǎng)勵(lì)值；

獲取存儲(chǔ)集群中每個(gè)節(jié)點(diǎn)的狀態(tài)信息；

利用智能代理模型接收每個(gè)節(jié)點(diǎn)的獎(jiǎng)勵(lì)值和狀態(tài)信息，所述智能代理模型利用每個(gè)節(jié)點(diǎn)的獎(jiǎng)勵(lì)值和狀態(tài)信息，輸出與當(dāng)前每個(gè)節(jié)點(diǎn)的獎(jiǎng)勵(lì)值和狀態(tài)信息對(duì)應(yīng)的數(shù)據(jù)存儲(chǔ)分配任務(wù)，完成數(shù)據(jù)的存儲(chǔ)分配；

其中，所述智能代理模型為基于神經(jīng)網(wǎng)絡(luò)模型，利用策略梯度算法和所述存儲(chǔ)集群中節(jié)點(diǎn)的獎(jiǎng)勵(lì)值優(yōu)化神經(jīng)網(wǎng)絡(luò)參數(shù)，利用歷史節(jié)點(diǎn)的狀態(tài)信息進(jìn)行訓(xùn)練而成的模型。

可選的，所述獲取存儲(chǔ)集群中每個(gè)節(jié)點(diǎn)的存儲(chǔ)性能信息的過(guò)程，包括：

獲取存儲(chǔ)集群中每個(gè)節(jié)點(diǎn)單位時(shí)間內(nèi)的I/O數(shù)據(jù)量和帶寬。

可選的，所述利用每個(gè)節(jié)點(diǎn)的存儲(chǔ)性能信息，得到每個(gè)節(jié)點(diǎn)的獎(jiǎng)勵(lì)值的過(guò)程，包括：

利用每個(gè)節(jié)點(diǎn)的單位時(shí)間內(nèi)的I/O數(shù)據(jù)量和帶寬之和，作為每個(gè)節(jié)點(diǎn)的獎(jiǎng)勵(lì)值。

可選的，所述智能代理模型包括分別由全連接網(wǎng)絡(luò)組成的輸入層、隱藏層和輸出層。

可選的，所述智能代理模型包括輸入層、一層隱藏層和輸出層，其中，隱藏層包括64個(gè)節(jié)點(diǎn)。

可選的，所述智能代理模型基于策略梯度算法，利用參數(shù)更新公式更新神經(jīng)網(wǎng)絡(luò)參數(shù)；

其中，所述參數(shù)更新公式為：θ_n＝θ+α▽_θlogπ_θ(s_t,a_t)v_t；