[發(fā)明專利]一種數(shù)據(jù)處理方法、裝置、系統(tǒng)、設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110209570.1
• 申請日: 2021-02-24
• 公開（公告）號: CN112948178A
• 公開（公告）日: 2021-06-11
• 發(fā)明（設(shè)計）人: 宮伯釗;李曉靜
• 申請（專利權(quán)）人: 北京金山云網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F16/27
• 代理公司: 北京開陽星知識產(chǎn)權(quán)代理有限公司 11710
• 代理人: 安偉

本公開實施例涉及一種數(shù)據(jù)處理方法、裝置、系統(tǒng)、設(shè)備及介質(zhì)，涉及云計算領(lǐng)域。其中該數(shù)據(jù)處理系統(tǒng)包括計算節(jié)點集群和存儲引擎，計算節(jié)點集群和存儲引擎通信連接，計算節(jié)點集群中包括至少兩個計算節(jié)點，存儲引擎包括存儲節(jié)點集群，計算節(jié)點用于執(zhí)行：接收數(shù)據(jù)處理請求；將數(shù)據(jù)處理請求發(fā)送至存儲引擎；接收存儲引擎返回的初始數(shù)據(jù)處理結(jié)果，并對初始數(shù)據(jù)處理結(jié)果進(jìn)行計算得到目標(biāo)數(shù)據(jù)處理結(jié)果。采用上述技術(shù)方案，由于所有的計算節(jié)點共用一個存儲引擎，不需要計算節(jié)點之間的數(shù)據(jù)同步，計算節(jié)點和存儲節(jié)點分離，提高了集群的可擴(kuò)展性；計算節(jié)點和存儲引擎進(jìn)行數(shù)據(jù)處理的過程是分離的，提高了數(shù)據(jù)處理的效率，減少了磁盤讀寫量。

技術(shù)領(lǐng)域

本公開涉及數(shù)據(jù)庫技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法、裝置、系統(tǒng)、設(shè)備及介質(zhì)。

背景技術(shù)

為了防止數(shù)據(jù)丟失，數(shù)據(jù)庫中可以采用主從架構(gòu)的多副本集提供數(shù)據(jù)和服務(wù)的冗余備份，進(jìn)一步還可以采用分片集群的方式存儲更多數(shù)據(jù)。

但是，上述多副本集或分片集群的架構(gòu)，節(jié)點之間需要進(jìn)行數(shù)據(jù)同步，磁盤讀寫量較大，影響數(shù)據(jù)處理效率，并且計算和存儲在相同的節(jié)點上，擴(kuò)展靈活性低。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題或者至少部分地解決上述技術(shù)問題，本公開提供了一種數(shù)據(jù)處理方法、裝置、系統(tǒng)、設(shè)備及介質(zhì)。

本公開實施例提供了一種數(shù)據(jù)處理系統(tǒng)，所述數(shù)據(jù)處理系統(tǒng)包括計算節(jié)點集群和存儲引擎，所述計算節(jié)點集群和所述存儲引擎通信連接，所述計算節(jié)點集群中包括至少兩個計算節(jié)點，所述存儲引擎包括存儲節(jié)點集群，所述計算節(jié)點用于執(zhí)行：接收數(shù)據(jù)處理請求；將所述數(shù)據(jù)處理請求發(fā)送至存儲引擎；接收所述存儲引擎返回的初始數(shù)據(jù)處理結(jié)果，并對所述初始數(shù)據(jù)處理結(jié)果進(jìn)行計算得到目標(biāo)數(shù)據(jù)處理結(jié)果。

本公開實施例還提供了一種數(shù)據(jù)處理方法，所述方法應(yīng)用于計算節(jié)點，包括：

接收數(shù)據(jù)處理請求；

將所述數(shù)據(jù)處理請求發(fā)送至存儲引擎；其中，至少兩個所述計算節(jié)點組成計算節(jié)點集群，所述存儲引擎包括存儲節(jié)點集群；

接收所述存儲引擎返回的初始數(shù)據(jù)處理結(jié)果，并對所述初始數(shù)據(jù)處理結(jié)果進(jìn)行計算得到目標(biāo)數(shù)據(jù)處理結(jié)果。

本公開實施例還提供了一種數(shù)據(jù)處理裝置，所述裝置計算節(jié)點，包括：

請求接收模塊，用于接收數(shù)據(jù)處理請求；

請求發(fā)送模塊，用于將所述數(shù)據(jù)處理請求發(fā)送至存儲引擎；其中，至少兩個所述計算節(jié)點組成計算節(jié)點集群，所述存儲引擎包括存儲節(jié)點集群；

數(shù)據(jù)處理模塊，用于接收所述存儲引擎返回的初始數(shù)據(jù)處理結(jié)果，并對所述初始數(shù)據(jù)處理結(jié)果進(jìn)行計算得到目標(biāo)數(shù)據(jù)處理結(jié)果。

本公開實施例還提供了一種電子設(shè)備，所述電子設(shè)備包括：處理器；用于存儲所述處理器可執(zhí)行指令的存儲器；所述處理器，用于從所述存儲器中讀取所述可執(zhí)行指令，并執(zhí)行所述指令以實現(xiàn)如本公開實施例提供的數(shù)據(jù)處理方法。

本公開實施例還提供了一種計算機(jī)可讀存儲介質(zhì)，所述存儲介質(zhì)存儲有計算機(jī)程序，所述計算機(jī)程序用于執(zhí)行如本公開實施例提供的數(shù)據(jù)處理方法。