[發(fā)明專利]一種電子設(shè)備及數(shù)據(jù)處理方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111305342.0
• 申請(qǐng)日: 2021-11-05
• 公開(kāi)（公告）號(hào): CN114020747A
• 公開(kāi)（公告）日: 2022-02-08
• 發(fā)明（設(shè)計(jì)）人: 薛凱;曲文武;張銳埼
• 申請(qǐng)（專利權(quán)）人: 青島海信智慧生活科技股份有限公司
• 主分類號(hào): G06F16/22
• 分類號(hào): G06F16/22;G06F16/21;G06F9/54
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 張愷寧

本申請(qǐng)公開(kāi)了一種電子設(shè)備及數(shù)據(jù)處理方法，涉及大數(shù)據(jù)計(jì)算技術(shù)領(lǐng)域，本實(shí)施例的電子設(shè)備包括處理器以及存儲(chǔ)器；處理器用于：基于各數(shù)據(jù)單元中的數(shù)據(jù)庫(kù)鍵的數(shù)量以及數(shù)據(jù)字段值，確定目標(biāo)數(shù)據(jù)單元；其中，所述數(shù)據(jù)單元的數(shù)據(jù)字段值為所述數(shù)據(jù)單元中的數(shù)據(jù)庫(kù)鍵的數(shù)據(jù)字段值之和；基于所述目標(biāo)數(shù)據(jù)單元中各數(shù)據(jù)庫(kù)鍵的數(shù)據(jù)字段值，選擇出目標(biāo)數(shù)據(jù)庫(kù)鍵；將所述目標(biāo)數(shù)據(jù)庫(kù)鍵的數(shù)據(jù)字段值分為目標(biāo)數(shù)量的子字段，并確定各子字段的子標(biāo)識(shí)，通過(guò)不同任務(wù)對(duì)各子標(biāo)識(shí)對(duì)應(yīng)的子字段進(jìn)行處理。本實(shí)施例在不增加計(jì)算資源的前提下，通過(guò)合理分配計(jì)算資源，減少了數(shù)據(jù)傾斜的情況發(fā)生，保證了計(jì)算過(guò)程的高效性和穩(wěn)定性。

技術(shù)領(lǐng)域

本申請(qǐng)涉及大數(shù)據(jù)計(jì)算技術(shù)領(lǐng)域，特別涉及一種電子設(shè)備及數(shù)據(jù)處理方法。

背景技術(shù)

大數(shù)據(jù)計(jì)算過(guò)程中，大量的數(shù)據(jù)集中到了一臺(tái)或者幾臺(tái)機(jī)器上計(jì)算，這些數(shù)據(jù)的計(jì)算速度遠(yuǎn)遠(yuǎn)低于平均計(jì)算速度，導(dǎo)致整個(gè)計(jì)算過(guò)程過(guò)慢，這種情況就是發(fā)生了數(shù)據(jù)傾斜。

相關(guān)技術(shù)中，通過(guò)增加計(jì)算資源的方式，可減少大數(shù)據(jù)計(jì)算過(guò)程中數(shù)據(jù)傾斜的情況發(fā)生。

然而，上述方式會(huì)造成資源浪費(fèi)。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┝艘环N電子設(shè)備及數(shù)據(jù)處理方法，用以在減少資源浪費(fèi)的前提下，減少大數(shù)據(jù)計(jì)算過(guò)程中數(shù)據(jù)傾斜的情況發(fā)生。

第一方面，本申請(qǐng)實(shí)施例提供一種電子設(shè)備，包括：處理器以及存儲(chǔ)器；

其中，所述存儲(chǔ)器存儲(chǔ)有程序代碼，當(dāng)所述程序代碼被所述處理器執(zhí)行時(shí)，使得所述處理器執(zhí)行下列過(guò)程：

基于各數(shù)據(jù)單元中的數(shù)據(jù)庫(kù)鍵的數(shù)量以及數(shù)據(jù)字段值，確定目標(biāo)數(shù)據(jù)單元；其中，所述數(shù)據(jù)單元的數(shù)據(jù)字段值為所述數(shù)據(jù)單元中的數(shù)據(jù)庫(kù)鍵的數(shù)據(jù)字段值之和；

基于所述目標(biāo)數(shù)據(jù)單元中各數(shù)據(jù)庫(kù)鍵的數(shù)據(jù)字段值，選擇出目標(biāo)數(shù)據(jù)庫(kù)鍵；

將所述目標(biāo)數(shù)據(jù)庫(kù)鍵的數(shù)據(jù)字段值分為目標(biāo)數(shù)量的子字段，并確定各子字段的子標(biāo)識(shí)，通過(guò)不同任務(wù)對(duì)各子標(biāo)識(shí)對(duì)應(yīng)的子字段進(jìn)行處理。

上述方案，由于數(shù)據(jù)單元中的數(shù)據(jù)庫(kù)鍵的數(shù)量以及數(shù)據(jù)字段值，表征了對(duì)應(yīng)數(shù)據(jù)單元中數(shù)據(jù)字段值的整體分布情況，基于此可以高效地確定出可能會(huì)包含傾斜數(shù)據(jù)的目標(biāo)數(shù)據(jù)單元；進(jìn)而基于目標(biāo)數(shù)據(jù)單元中各數(shù)據(jù)庫(kù)鍵的數(shù)據(jù)字段值，準(zhǔn)確地從目標(biāo)數(shù)據(jù)單元中選擇出傾斜數(shù)據(jù)對(duì)應(yīng)的目標(biāo)數(shù)據(jù)庫(kù)鍵；通過(guò)將這些目標(biāo)數(shù)據(jù)庫(kù)鍵的數(shù)據(jù)字段值分為多個(gè)子字段，并確定各子字段的子標(biāo)識(shí)，從而通過(guò)不同任務(wù)對(duì)各子標(biāo)識(shí)對(duì)應(yīng)的子字段進(jìn)行處理，在不增加計(jì)算資源的前提下，通過(guò)合理分配計(jì)算資源，減少了數(shù)據(jù)傾斜的情況發(fā)生，保證了計(jì)算過(guò)程的高效性和穩(wěn)定性。

一些可選的實(shí)施方式中，所述處理器具體用于：

將數(shù)據(jù)庫(kù)鍵的數(shù)量小于預(yù)設(shè)數(shù)量，且數(shù)據(jù)字段值大于第一預(yù)設(shè)數(shù)據(jù)字段值的數(shù)據(jù)單元，確定為所述目標(biāo)數(shù)據(jù)單元。

上述方案，由于在數(shù)據(jù)庫(kù)鍵的數(shù)量小于預(yù)設(shè)數(shù)量，且數(shù)據(jù)字段值大于第一預(yù)設(shè)數(shù)據(jù)字段值的數(shù)據(jù)單元中，大量的數(shù)據(jù)字段值集中在少量的數(shù)據(jù)庫(kù)鍵，很可能會(huì)包含傾斜數(shù)據(jù)，因此，可將這些數(shù)據(jù)單元確定為目標(biāo)數(shù)據(jù)單元。

一些可選的實(shí)施方式中，所述處理器具體用于：

針對(duì)所述目標(biāo)數(shù)據(jù)單元中任一數(shù)據(jù)庫(kù)鍵，若所述數(shù)據(jù)庫(kù)鍵的數(shù)據(jù)字段值與目標(biāo)隊(duì)列中的已添加的數(shù)據(jù)庫(kù)鍵的數(shù)據(jù)字段值之和大于第二預(yù)設(shè)數(shù)據(jù)字段值，則將所述數(shù)據(jù)庫(kù)鍵確定為目標(biāo)數(shù)據(jù)庫(kù)鍵；其中，所述目標(biāo)隊(duì)列為隊(duì)列組中剩余數(shù)據(jù)字段值最大的隊(duì)列；任一隊(duì)列的剩余數(shù)據(jù)字段值為所述隊(duì)列的數(shù)據(jù)字段值添加上限與所述隊(duì)列已添加的數(shù)據(jù)庫(kù)鍵的數(shù)據(jù)字段值之差；所述隊(duì)列組包括至少一個(gè)用于添加數(shù)據(jù)庫(kù)鍵的隊(duì)列。