[發(fā)明專利]數(shù)據(jù)處理方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110317270.5
• 申請(qǐng)日: 2021-03-25
• 公開(kāi)（公告）號(hào): CN112698926B
• 公開(kāi)（公告）日: 2021-07-02
• 發(fā)明（設(shè)計(jì)）人: 趙永亮;楊易;高斌;張清林
• 申請(qǐng)（專利權(quán)）人: 成都新希望金融信息有限公司
• 主分類(lèi)號(hào): G06F9/455
• 分類(lèi)號(hào): G06F9/455
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 曹瑞敏

本申請(qǐng)?zhí)峁┮环N數(shù)據(jù)處理方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)及系統(tǒng)，涉及數(shù)據(jù)處理領(lǐng)域。該方法包括：接收代理節(jié)點(diǎn)發(fā)送的請(qǐng)求和哈希槽；所述哈希槽為所述代理節(jié)點(diǎn)根據(jù)所述請(qǐng)求中的哈希標(biāo)識(shí)計(jì)算得到的；確定所述哈希槽所在的實(shí)例為所述請(qǐng)求對(duì)應(yīng)的第一目標(biāo)實(shí)例；根據(jù)所述請(qǐng)求更新所述第一目標(biāo)實(shí)例中所述哈希槽所存儲(chǔ)的數(shù)據(jù)。相對(duì)于現(xiàn)有技術(shù)，避免了存儲(chǔ)系統(tǒng)的可靠性不高的問(wèn)題。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體而言，涉及一種數(shù)據(jù)處理方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)及系統(tǒng)。

背景技術(shù)

隨著現(xiàn)代互聯(lián)網(wǎng)技術(shù)的發(fā)展，許多行業(yè)均轉(zhuǎn)向移動(dòng)端（應(yīng)用程序，微信小程序，導(dǎo)流渠道等），通過(guò)線上獲取用戶，從而減少獲取用戶的成本。但是這樣的方式會(huì)導(dǎo)致用戶量的激增，從而對(duì)后臺(tái)服務(wù)器的響應(yīng)速度的要求較高，而Redis憑借高性能、簡(jiǎn)單部署的特點(diǎn)被廣泛應(yīng)用。

現(xiàn)有技術(shù)中一般通過(guò)Redis集群方案來(lái)實(shí)現(xiàn)數(shù)據(jù)的存取，Redis集群方案通過(guò)分片實(shí)現(xiàn)擴(kuò)容，采用多主多從模式，完全去中心化，每個(gè)節(jié)點(diǎn)都維護(hù)整個(gè)集群的所有節(jié)點(diǎn)信息，通過(guò)節(jié)點(diǎn)間定時(shí)、定頻的兩兩通訊方式，交換并且更新數(shù)據(jù)，客戶端在進(jìn)行數(shù)據(jù)請(qǐng)求時(shí)只接觸主節(jié)點(diǎn)，從節(jié)點(diǎn)充當(dāng)備用節(jié)點(diǎn)，在節(jié)點(diǎn)故障時(shí)可以通過(guò)投票機(jī)制完成容災(zāi)，各節(jié)點(diǎn)間使用輕量協(xié)議通信，減少帶寬占用，提高集群性能。

但是Redis集群方案中，客戶端必須要緩存哈希槽的信息，并且需要準(zhǔn)實(shí)時(shí)同步，這對(duì)客戶端的可靠性有一定要求，從而導(dǎo)致若對(duì)集群客戶端的支持不全面，則會(huì)造成整個(gè)存儲(chǔ)系統(tǒng)的可靠性不高的問(wèn)題。

發(fā)明內(nèi)容

本申請(qǐng)的目的在于，針對(duì)上述現(xiàn)有技術(shù)中的不足，提供一種數(shù)據(jù)處理方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)及系統(tǒng)，以解決現(xiàn)有技術(shù)中存儲(chǔ)系統(tǒng)的可靠性不高的問(wèn)題。

為實(shí)現(xiàn)上述目的，本申請(qǐng)實(shí)施例采用的技術(shù)方案如下：

第一方面，本申請(qǐng)一實(shí)施例提供了一種數(shù)據(jù)處理方法，所述方法包括：應(yīng)用于分片式存儲(chǔ)系統(tǒng)中的任一存儲(chǔ)節(jié)點(diǎn)，所述存儲(chǔ)節(jié)點(diǎn)中包括多個(gè)實(shí)例，所述方法包括：

接收代理節(jié)點(diǎn)發(fā)送的請(qǐng)求和哈希槽；所述哈希槽為所述代理節(jié)點(diǎn)根據(jù)所述請(qǐng)求中的哈希標(biāo)識(shí)計(jì)算得到的；

根據(jù)哈希槽范圍和各實(shí)例之間的映射關(guān)系，確定所述哈希槽所在的實(shí)例為所述請(qǐng)求對(duì)應(yīng)的第一目標(biāo)實(shí)例；其中，每個(gè)所述存儲(chǔ)節(jié)點(diǎn)中均存儲(chǔ)有該所述存儲(chǔ)節(jié)點(diǎn)對(duì)應(yīng)的哈希槽范圍和各實(shí)例之間的映射關(guān)系；

根據(jù)所述請(qǐng)求更新所述第一目標(biāo)實(shí)例中所述哈希槽所存儲(chǔ)的數(shù)據(jù)。

可選地，所述方法還包括：

接收管理設(shè)備發(fā)送的實(shí)例調(diào)整命令；其中，所述實(shí)例調(diào)整命令中包括：第二目標(biāo)實(shí)例的標(biāo)識(shí)和遷移指令；

根據(jù)所述第二目標(biāo)實(shí)例的標(biāo)識(shí)在所述存儲(chǔ)節(jié)點(diǎn)上確定第二目標(biāo)實(shí)例；

根據(jù)所述遷移指令，對(duì)所述第二目標(biāo)實(shí)例中的數(shù)據(jù)進(jìn)行遷移。

可選地，所述遷移指令包括：待增加實(shí)例；

所述根據(jù)所述遷移指令，對(duì)所述第二目標(biāo)實(shí)例中的數(shù)據(jù)進(jìn)行遷移，包括：

添加所述待增加實(shí)例；

將所述第二目標(biāo)實(shí)例內(nèi)的部分哈希槽范圍的數(shù)據(jù)，遷移至所述待增加實(shí)例，并在所述第二目標(biāo)實(shí)例中刪除遷移成功的數(shù)據(jù)。

可選地，所述遷移指令還包括：目標(biāo)哈希槽范圍；所述部分哈希槽范圍為所述目標(biāo)哈希槽范圍所指示的哈希槽范圍。

可選地，所述遷移指令包括：縮容實(shí)例的標(biāo)識(shí)；所述縮容實(shí)例為所述存儲(chǔ)節(jié)點(diǎn)上除所述第二目標(biāo)實(shí)例外的一個(gè)實(shí)例；

所述根據(jù)所述遷移指令，對(duì)所述第二目標(biāo)實(shí)例中的數(shù)據(jù)進(jìn)行遷移，包括：

根據(jù)所述縮容實(shí)例的標(biāo)識(shí)在所述存儲(chǔ)節(jié)點(diǎn)上確定所述縮容實(shí)例；