[發(fā)明專(zhuān)利]數(shù)據(jù)處理的方法、裝置、計(jì)算機(jī)設(shè)備以及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110254726.8
• 申請(qǐng)日: 2021-03-05
• 公開(kāi)（公告）號(hào): CN112905596A
• 公開(kāi)（公告）日: 2021-06-04
• 發(fā)明（設(shè)計(jì)）人: 向鵬;楊令卿;黃江
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京中經(jīng)惠眾科技有限公司
• 主分類(lèi)號(hào): G06F16/22
• 分類(lèi)號(hào): G06F16/22;G06F16/27
• 代理公司: 北京市漢坤律師事務(wù)所 11602
• 代理人: 初媛媛;吳麗麗

本公開(kāi)涉及一種數(shù)據(jù)處理的方法、裝置、計(jì)算機(jī)設(shè)備以及存儲(chǔ)介質(zhì)。方法包括：將待連接的第一數(shù)據(jù)集和第二數(shù)據(jù)集分別拆分為多個(gè)第一分區(qū)和多個(gè)第二分區(qū)；確定多個(gè)第一分區(qū)和多個(gè)第二分區(qū)中的每個(gè)分區(qū)的數(shù)據(jù)量；根據(jù)第一數(shù)據(jù)集和第二數(shù)據(jù)集的連接類(lèi)型以及所確定的每個(gè)分區(qū)的數(shù)據(jù)量，選擇性地對(duì)多個(gè)第一分區(qū)和多個(gè)第二分區(qū)進(jìn)行再拆分，以得到多個(gè)第一數(shù)據(jù)集分區(qū)和多個(gè)第二數(shù)據(jù)集分區(qū)；以及將多個(gè)第一數(shù)據(jù)集分區(qū)和多個(gè)第二數(shù)據(jù)集分區(qū)分配至各自的計(jì)算節(jié)點(diǎn)以進(jìn)行第一數(shù)據(jù)集和第二數(shù)據(jù)集的連接。

技術(shù)領(lǐng)域

本公開(kāi)涉及大數(shù)據(jù)以及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)處理的方法、裝置、計(jì)算機(jī)設(shè)備、非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)以及計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)

大數(shù)據(jù)是指一種規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類(lèi)型和價(jià)值密度低四大特征。面對(duì)如此規(guī)模大的數(shù)據(jù)，需要通過(guò)大數(shù)據(jù)計(jì)算集群來(lái)對(duì)其進(jìn)行處理、分析以及聚合，以從這些數(shù)據(jù)中找到有用的信息，從而為上層應(yīng)用提供服務(wù)以及為用戶(hù)提供決策。

在大數(shù)據(jù)計(jì)算集群中，由于鍵值分布不均勻、業(yè)務(wù)數(shù)據(jù)本身特性或者建表時(shí)考慮不周等原因，可能產(chǎn)生數(shù)據(jù)傾斜的情況，即，計(jì)算集群中的各個(gè)節(jié)點(diǎn)的數(shù)據(jù)分布不均。這將導(dǎo)致某些節(jié)點(diǎn)的讀/寫(xiě)請(qǐng)求過(guò)多、負(fù)載過(guò)大以及計(jì)算時(shí)間過(guò)長(zhǎng)，從而影響大數(shù)據(jù)集群的整體的計(jì)算速度。

在此部分中描述的方法不一定是之前已經(jīng)設(shè)想到或采用的方法。除非另有指明，否則不應(yīng)假定此部分中描述的任何方法僅因其包括在此部分中就被認(rèn)為是現(xiàn)有技術(shù)。類(lèi)似地，除非另有指明，否則此部分中提及的問(wèn)題不應(yīng)認(rèn)為在任何現(xiàn)有技術(shù)中已被公認(rèn)。

發(fā)明內(nèi)容

有鑒于此，本公開(kāi)提供了一種數(shù)據(jù)處理的方法和裝置，以緩解、減輕或甚至消除大數(shù)據(jù)計(jì)算集群中的數(shù)據(jù)傾斜的問(wèn)題，并且同時(shí)確保數(shù)據(jù)連接的準(zhǔn)確性和可靠性。

根據(jù)本公開(kāi)的第一方面，提供了一種數(shù)據(jù)處理的方法，包括：將待連接的第一數(shù)據(jù)集和第二數(shù)據(jù)集分別拆分為多個(gè)第一分區(qū)和多個(gè)第二分區(qū)；確定所述多個(gè)第一分區(qū)和所述多個(gè)第二分區(qū)中的每個(gè)分區(qū)的數(shù)據(jù)量；根據(jù)所述第一數(shù)據(jù)集和所述第二數(shù)據(jù)集的連接類(lèi)型以及所確定的每個(gè)分區(qū)的數(shù)據(jù)量，選擇性地對(duì)所述多個(gè)第一分區(qū)和所述多個(gè)第二分區(qū)進(jìn)行再拆分，以得到多個(gè)第一數(shù)據(jù)集分區(qū)和多個(gè)第二數(shù)據(jù)集分區(qū)；以及將所述多個(gè)第一數(shù)據(jù)集分區(qū)和所述多個(gè)第二數(shù)據(jù)集分區(qū)分配至各自的計(jì)算節(jié)點(diǎn)以進(jìn)行所述第一數(shù)據(jù)集和所述第二數(shù)據(jù)集的連接。

根據(jù)本公開(kāi)的第二方面，提供了一種數(shù)據(jù)處理的裝置，包括：拆分模塊，所述拆分模塊被配置為將待連接的第一數(shù)據(jù)集和第二數(shù)據(jù)集分別拆分為多個(gè)第一分區(qū)和多個(gè)第二分區(qū)；確定模塊，所述確定模塊被配置為確定所述多個(gè)第一分區(qū)和所述多個(gè)第二分區(qū)中的每個(gè)分區(qū)的數(shù)據(jù)量；再拆分模塊，所述再拆分模塊被配置為根據(jù)所述第一數(shù)據(jù)集和所述第二數(shù)據(jù)集的連接類(lèi)型以及所確定的每個(gè)分區(qū)的數(shù)據(jù)量，選擇性地對(duì)所述多個(gè)第一分區(qū)和所述多個(gè)第二分區(qū)進(jìn)行再拆分，以得到多個(gè)第一數(shù)據(jù)集分區(qū)和多個(gè)第二數(shù)據(jù)集分區(qū)；以及分配模塊，所述分配模塊被配置為將所述多個(gè)第一數(shù)據(jù)集分區(qū)和所述多個(gè)第二數(shù)據(jù)集分區(qū)分配至各自的計(jì)算節(jié)點(diǎn)以進(jìn)行所述第一數(shù)據(jù)集和所述第二數(shù)據(jù)集的連接。

根據(jù)本公開(kāi)的第三方面，提供了一種計(jì)算機(jī)設(shè)備，包括：存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器上的計(jì)算機(jī)程序。所述處理器被配置為執(zhí)行所述計(jì)算機(jī)程序以實(shí)現(xiàn)本公開(kāi)的第一方面所述方法的步驟。

根據(jù)本公開(kāi)的第四方面，提供了一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序。所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)本公開(kāi)的第一方面所述方法的步驟。

根據(jù)本公開(kāi)的第五方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序。所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)本公開(kāi)第一方面所述方法的步驟。

根據(jù)本公開(kāi)的一個(gè)或多個(gè)實(shí)施例，通過(guò)根據(jù)連接類(lèi)型選擇性地對(duì)數(shù)據(jù)量較大的分區(qū)進(jìn)行再拆分，以使得數(shù)據(jù)分布均勻，從而緩解、減輕或甚至消除數(shù)據(jù)傾斜的問(wèn)題，并且同時(shí)保證數(shù)據(jù)連接的準(zhǔn)確性和可靠性。