[發(fā)明專利]一種數(shù)據(jù)處理方法、裝置、系統(tǒng)、設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110209570.1
• 申請日: 2021-02-24
• 公開（公告）號: CN112948178A
• 公開（公告）日: 2021-06-11
• 發(fā)明（設(shè)計(jì)）人: 宮伯釗;李曉靜
• 申請（專利權(quán)）人: 北京金山云網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F16/27
• 代理公司: 北京開陽星知識產(chǎn)權(quán)代理有限公司 11710
• 代理人: 安偉

1.一種數(shù)據(jù)處理系統(tǒng)，其特征在于，包括計(jì)算節(jié)點(diǎn)集群和存儲(chǔ)引擎，所述計(jì)算節(jié)點(diǎn)集群和所述存儲(chǔ)引擎通信連接，所述計(jì)算節(jié)點(diǎn)集群中包括至少兩個(gè)計(jì)算節(jié)點(diǎn)，所述存儲(chǔ)引擎包括存儲(chǔ)節(jié)點(diǎn)集群，所述計(jì)算節(jié)點(diǎn)用于執(zhí)行：接收數(shù)據(jù)處理請求；將所述數(shù)據(jù)處理請求發(fā)送至存儲(chǔ)引擎；接收所述存儲(chǔ)引擎返回的初始數(shù)據(jù)處理結(jié)果，并對所述初始數(shù)據(jù)處理結(jié)果進(jìn)行計(jì)算得到目標(biāo)數(shù)據(jù)處理結(jié)果。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理系統(tǒng)，其特征在于，所述存儲(chǔ)節(jié)點(diǎn)集群中包括至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)組，每個(gè)所述存儲(chǔ)節(jié)點(diǎn)組中包括至少兩個(gè)存儲(chǔ)節(jié)點(diǎn)，每個(gè)所述存儲(chǔ)節(jié)點(diǎn)組中各存儲(chǔ)節(jié)點(diǎn)之間通過一致性協(xié)議同步數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)處理系統(tǒng)，其特征在于，所述存儲(chǔ)引擎還包括管理節(jié)點(diǎn)集群，所述管理節(jié)點(diǎn)集群與所述計(jì)算節(jié)點(diǎn)集群、所述存儲(chǔ)節(jié)點(diǎn)集群通信連接，所述管理節(jié)點(diǎn)集群中包括至少兩個(gè)管理節(jié)點(diǎn)，所述管理節(jié)點(diǎn)用于將路由信息發(fā)送至所述計(jì)算節(jié)點(diǎn)，以使所述計(jì)算節(jié)點(diǎn)基于所述數(shù)據(jù)處理請求中的路由查詢信息和所述路由信息，確定所述路由查詢信息對應(yīng)的存儲(chǔ)節(jié)點(diǎn)信息。

4.根據(jù)權(quán)利要求2所述的數(shù)據(jù)處理系統(tǒng)，其特征在于，所述計(jì)算節(jié)點(diǎn)和所述存儲(chǔ)節(jié)點(diǎn)均支持增加或刪除。

5.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理系統(tǒng)，其特征在于，所述存儲(chǔ)引擎為MongoDB存儲(chǔ)引擎或RocksDB存儲(chǔ)引擎。

6.一種數(shù)據(jù)處理方法，其特征在于，應(yīng)用于計(jì)算節(jié)點(diǎn)，包括：

接收數(shù)據(jù)處理請求；

將所述數(shù)據(jù)處理請求發(fā)送至存儲(chǔ)引擎；其中，至少兩個(gè)所述計(jì)算節(jié)點(diǎn)組成計(jì)算節(jié)點(diǎn)集群，所述存儲(chǔ)引擎包括存儲(chǔ)節(jié)點(diǎn)集群；

接收所述存儲(chǔ)引擎返回的初始數(shù)據(jù)處理結(jié)果，并對所述初始數(shù)據(jù)處理結(jié)果進(jìn)行計(jì)算得到目標(biāo)數(shù)據(jù)處理結(jié)果。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述數(shù)據(jù)處理請求中包括路由查詢信息；

將所述數(shù)據(jù)處理請求發(fā)送至存儲(chǔ)引擎，包括：

基于所述路由查詢信息和預(yù)先從所述存儲(chǔ)引擎的管理節(jié)點(diǎn)中獲取的路由信息，確定所述路由查詢信息對應(yīng)的存儲(chǔ)節(jié)點(diǎn)信息；

將所述數(shù)據(jù)處理請求發(fā)送至存儲(chǔ)引擎中所述存儲(chǔ)節(jié)點(diǎn)信息對應(yīng)的存儲(chǔ)節(jié)點(diǎn)。

8.一種數(shù)據(jù)處理裝置，其特征在于，設(shè)置于計(jì)算節(jié)點(diǎn)，包括：

請求接收模塊，用于接收數(shù)據(jù)處理請求；

請求發(fā)送模塊，用于將所述數(shù)據(jù)處理請求發(fā)送至存儲(chǔ)引擎；其中，至少兩個(gè)所述計(jì)算節(jié)點(diǎn)組成計(jì)算節(jié)點(diǎn)集群，所述存儲(chǔ)引擎包括存儲(chǔ)節(jié)點(diǎn)集群；

數(shù)據(jù)處理模塊，用于接收所述存儲(chǔ)引擎返回的初始數(shù)據(jù)處理結(jié)果，并對所述初始數(shù)據(jù)處理結(jié)果進(jìn)行計(jì)算得到目標(biāo)數(shù)據(jù)處理結(jié)果。

9.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括：

處理器；

用于存儲(chǔ)所述處理器可執(zhí)行指令的存儲(chǔ)器；

所述處理器，用于從所述存儲(chǔ)器中讀取所述可執(zhí)行指令，并執(zhí)行所述指令以實(shí)現(xiàn)上述權(quán)利要求6-7中任一所述的數(shù)據(jù)處理方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序用于執(zhí)行上述權(quán)利要求6-7中任一所述的數(shù)據(jù)處理方法。