[發(fā)明專(zhuān)利]一種分布式系統(tǒng)中數(shù)據(jù)處理方法、裝置及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201510644448.1
• 申請(qǐng)日: 2015-09-30
• 公開(kāi)（公告）號(hào): CN105391755B
• 公開(kāi)（公告）日: 2018-10-19
• 發(fā)明（設(shè)計(jì)）人: 薛貞文
• 申請(qǐng)（專(zhuān)利權(quán)）人: 華為技術(shù)有限公司
• 主分類(lèi)號(hào): H04L29/08
• 分類(lèi)號(hào): H04L29/08;G06F3/06
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 馮艷蓮

本發(fā)明公開(kāi)了一種分布式系統(tǒng)中數(shù)據(jù)處理方法、裝置及系統(tǒng)，用于解決由于計(jì)算節(jié)點(diǎn)需等待基于原分區(qū)視圖的任務(wù)完成，才能基于新分區(qū)視圖進(jìn)行數(shù)據(jù)處理導(dǎo)致分布式系統(tǒng)的數(shù)據(jù)處理效率降低的問(wèn)題。該數(shù)據(jù)處理方法包括：在第一計(jì)算節(jié)點(diǎn)根據(jù)第一分區(qū)視圖使用第一更新數(shù)據(jù)對(duì)所述第一數(shù)據(jù)進(jìn)行更新操作時(shí)，第二計(jì)算節(jié)點(diǎn)接收第二分區(qū)視圖；所述第二計(jì)算節(jié)點(diǎn)根據(jù)所述第二分區(qū)視圖使用第二更新數(shù)據(jù)對(duì)所述第一數(shù)據(jù)進(jìn)行更新操作；其中，所述第一分區(qū)視圖指示的第一時(shí)刻存儲(chǔ)所述第一數(shù)據(jù)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)，與所述第二分區(qū)視圖指示的第二時(shí)刻存儲(chǔ)所述第一數(shù)據(jù)的至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)不完全相同。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)存儲(chǔ)領(lǐng)域，特別涉及一種分布式系統(tǒng)中數(shù)據(jù)處理方法、裝置及系統(tǒng)。

背景技術(shù)

分布式系統(tǒng)是指將計(jì)算資源和存儲(chǔ)資源分散到不同的節(jié)點(diǎn)上，通過(guò)網(wǎng)絡(luò)將各節(jié)點(diǎn)聯(lián)系起來(lái)的系統(tǒng)。分布式系統(tǒng)可以通過(guò)管理和控制多個(gè)節(jié)點(diǎn)來(lái)完成一項(xiàng)任務(wù)，但對(duì)外表現(xiàn)為一臺(tái)獨(dú)立完整的系統(tǒng)，用戶(hù)感知不到分布式系統(tǒng)任務(wù)在內(nèi)部的執(zhí)行細(xì)節(jié)。

圖1為分布式系統(tǒng)的示意圖，其中，客戶(hù)端用來(lái)接收用戶(hù)需求(如寫(xiě)請(qǐng)求和讀請(qǐng)求)，計(jì)算節(jié)點(diǎn)負(fù)責(zé)分發(fā)路由，而存儲(chǔ)節(jié)點(diǎn)負(fù)責(zé)單盤(pán)管理和實(shí)際存儲(chǔ)，另外，系統(tǒng)中還包括管理節(jié)點(diǎn)，負(fù)責(zé)對(duì)多個(gè)計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)進(jìn)行管理。

分布式系統(tǒng)采用多副本策略保存數(shù)據(jù)，即將同一數(shù)據(jù)保存在多個(gè)存儲(chǔ)節(jié)點(diǎn)上，以避免存儲(chǔ)節(jié)點(diǎn)故障引起的數(shù)據(jù)丟失，增強(qiáng)數(shù)據(jù)存儲(chǔ)的可靠性。同時(shí)，系統(tǒng)還要保障同一數(shù)據(jù)的多個(gè)副本的一致性，即用多個(gè)存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)同一數(shù)據(jù)時(shí)，要保證多個(gè)存儲(chǔ)節(jié)點(diǎn)上存儲(chǔ)的數(shù)據(jù)一致。

鏈?zhǔn)綇?fù)制機(jī)制是一種保證多副本一致性的策略，參照?qǐng)D2，存儲(chǔ)數(shù)據(jù)的多個(gè)存儲(chǔ)節(jié)點(diǎn)間存在鏈?zhǔn)疥P(guān)系，位于鏈頭的存儲(chǔ)節(jié)點(diǎn)稱(chēng)為頭節(jié)點(diǎn)(又可稱(chēng)為主節(jié)點(diǎn))，鏈尾的存儲(chǔ)節(jié)點(diǎn)稱(chēng)為尾節(jié)點(diǎn)，計(jì)算節(jié)點(diǎn)在進(jìn)行寫(xiě)操作時(shí)，首先在頭節(jié)點(diǎn)中進(jìn)行數(shù)據(jù)寫(xiě)入操作，然后在鏈?zhǔn)浇Y(jié)構(gòu)中頭節(jié)點(diǎn)后的節(jié)點(diǎn)2中進(jìn)行寫(xiě)操作，依次類(lèi)推，直至在尾節(jié)點(diǎn)中寫(xiě)入數(shù)據(jù)，計(jì)算節(jié)點(diǎn)向客戶(hù)端返回?cái)?shù)據(jù)寫(xiě)入成功而在讀取數(shù)據(jù)時(shí)，計(jì)算節(jié)點(diǎn)可以只讀取尾節(jié)點(diǎn)中存儲(chǔ)的數(shù)據(jù)。

在分布式系統(tǒng)中，每個(gè)計(jì)算節(jié)點(diǎn)均保存有一份由管理節(jié)點(diǎn)統(tǒng)一一管理和更新維護(hù)的映射表，稱(chēng)為分區(qū)視圖，分區(qū)視圖中保存有存儲(chǔ)每一個(gè)數(shù)據(jù)的多個(gè)存儲(chǔ)節(jié)點(diǎn)的信息，計(jì)算節(jié)點(diǎn)具體根據(jù)保存的分區(qū)視圖確定每個(gè)數(shù)據(jù)的存儲(chǔ)節(jié)點(diǎn)，進(jìn)而請(qǐng)求對(duì)應(yīng)的存儲(chǔ)節(jié)點(diǎn)執(zhí)行對(duì)應(yīng)操作。

實(shí)際情況中，存儲(chǔ)數(shù)據(jù)的存儲(chǔ)節(jié)點(diǎn)可能會(huì)發(fā)生變化，管理節(jié)點(diǎn)在存儲(chǔ)數(shù)據(jù)的節(jié)點(diǎn)變更后會(huì)基于變更后的用于存儲(chǔ)數(shù)據(jù)的存儲(chǔ)節(jié)點(diǎn)生成新分區(qū)視圖，并將新分區(qū)視圖發(fā)送給各計(jì)算節(jié)點(diǎn)。如果有計(jì)算節(jié)點(diǎn)在接收到新分區(qū)視圖時(shí)，有基于原分區(qū)視圖的任務(wù)(如數(shù)據(jù)更新操作)尚未完成，則其余計(jì)算節(jié)點(diǎn)需要先等待該計(jì)算節(jié)點(diǎn)將基于原分區(qū)視圖的任務(wù)進(jìn)行完畢，才能基于新分區(qū)視圖進(jìn)行數(shù)據(jù)操作。由于接收新分區(qū)視圖的計(jì)算節(jié)點(diǎn)不能立即基于新分區(qū)視圖進(jìn)行數(shù)據(jù)操作，將導(dǎo)致任務(wù)阻塞，降低分布式系統(tǒng)的數(shù)據(jù)處理效率。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種分布式系統(tǒng)中數(shù)據(jù)處理方法、裝置及系統(tǒng)，用于解決由于計(jì)算節(jié)點(diǎn)需等待基于原分區(qū)視圖的任務(wù)完成，才能基于新分區(qū)視圖進(jìn)行數(shù)據(jù)處理導(dǎo)致分布式系統(tǒng)的數(shù)據(jù)處理效率降低的問(wèn)題。

第一方面，本發(fā)明實(shí)施例提供一種分布式系統(tǒng)中數(shù)據(jù)處理方法，所述分布式系統(tǒng)包括管理節(jié)點(diǎn)、第一計(jì)算節(jié)點(diǎn)、第二計(jì)算節(jié)點(diǎn)和多個(gè)存儲(chǔ)節(jié)點(diǎn)，所述管理節(jié)點(diǎn)、所述第一計(jì)算節(jié)點(diǎn)、所述第二計(jì)算節(jié)點(diǎn)和所述多個(gè)存儲(chǔ)節(jié)點(diǎn)間通信，所述方法包括：

在所述第一計(jì)算節(jié)點(diǎn)根據(jù)第一分區(qū)視圖使用第一更新數(shù)據(jù)對(duì)所述第一數(shù)據(jù)進(jìn)行更新操作時(shí)，所述第二計(jì)算節(jié)點(diǎn)接收第二分區(qū)視圖；

所述第二計(jì)算節(jié)點(diǎn)根據(jù)所述第二分區(qū)視圖使用第二更新數(shù)據(jù)對(duì)所述第一數(shù)據(jù)進(jìn)行更新操作；