[發(fā)明專利]加載數(shù)據(jù)的方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 201810145189.1
• 申請日: 2018-02-12
• 公開（公告）號: CN108363786A
• 公開（公告）日: 2018-08-03
• 發(fā)明（設(shè)計(jì)）人: 何鑫
• 申請（專利權(quán)）人: 蘇州朗動(dòng)網(wǎng)絡(luò)科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 唐清凱

本申請涉及一種加載數(shù)據(jù)的方法、系統(tǒng)、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。所述方法包括：獲取可執(zhí)行文件的運(yùn)行指令；根據(jù)所述可執(zhí)行文件的運(yùn)行指令，獲取集群中數(shù)據(jù)節(jié)點(diǎn)的信息，所述數(shù)據(jù)節(jié)點(diǎn)的信息包括數(shù)據(jù)節(jié)點(diǎn)的數(shù)量；根據(jù)所述集群中數(shù)據(jù)節(jié)點(diǎn)的數(shù)量，將待分配數(shù)據(jù)加載至相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)。上述加載數(shù)據(jù)的方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)，能夠?qū)崿F(xiàn)了提升數(shù)據(jù)同步效率、縮短數(shù)據(jù)同步時(shí)間的技術(shù)效果，規(guī)避了主節(jié)點(diǎn)服務(wù)器的性能瓶頸。

技術(shù)領(lǐng)域

本申請涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，特別是涉及一種加載數(shù)據(jù)的方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著互聯(lián)網(wǎng)行業(yè)的發(fā)展，累計(jì)了海量的信息和數(shù)據(jù)。為了滿足處理海量數(shù)據(jù)的需求，出現(xiàn)了采用分布式數(shù)據(jù)庫系統(tǒng)的大數(shù)據(jù)解決方案。通過借助于分布式計(jì)算思想，大數(shù)據(jù)集群采用大規(guī)模并行處理架構(gòu)在軟件上實(shí)現(xiàn)了基于數(shù)據(jù)庫的分布式數(shù)據(jù)存儲(chǔ)和并行計(jì)算。分布式大數(shù)據(jù)集群主要由數(shù)據(jù)主節(jié)點(diǎn)(master host)、數(shù)據(jù)節(jié)點(diǎn)(segment host)、高速網(wǎng)絡(luò)(interconnect)三大部分組成。

在傳統(tǒng)技術(shù)中，在將關(guān)系型數(shù)據(jù)庫中的源數(shù)據(jù)傳輸給集群的數(shù)據(jù)倉庫時(shí)，首先，數(shù)據(jù)主節(jié)點(diǎn)接收關(guān)系型數(shù)據(jù)庫中的源數(shù)據(jù)，然后，數(shù)據(jù)主節(jié)點(diǎn)將源數(shù)據(jù)分配給各個(gè)數(shù)據(jù)節(jié)點(diǎn)。

然而，數(shù)據(jù)倉庫須通過主節(jié)點(diǎn)進(jìn)行數(shù)據(jù)同步，主節(jié)點(diǎn)服務(wù)器性能將會(huì)影響數(shù)據(jù)同步效率，且主節(jié)點(diǎn)服務(wù)器的性能存在瓶頸，那么隨著數(shù)據(jù)量的增加，同步數(shù)據(jù)的時(shí)間也呈指數(shù)增長。即數(shù)據(jù)倉庫通過主節(jié)點(diǎn)進(jìn)行數(shù)據(jù)傳輸?shù)膫鹘y(tǒng)方法會(huì)存在數(shù)據(jù)同步效率底下的問題。

發(fā)明內(nèi)容

基于此，有必要針對上述數(shù)據(jù)倉庫通過主節(jié)點(diǎn)進(jìn)行數(shù)據(jù)傳輸?shù)膫鹘y(tǒng)方法會(huì)存在數(shù)據(jù)同步效率底下的技術(shù)問題，提供一種能夠提高數(shù)據(jù)同步效率的加載數(shù)據(jù)的方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

一種加載數(shù)據(jù)的方法，所述方法包括：獲取可執(zhí)行文件的運(yùn)行指令；根據(jù)所述可執(zhí)行文件的運(yùn)行指令，獲取集群中數(shù)據(jù)節(jié)點(diǎn)的信息，所述數(shù)據(jù)節(jié)點(diǎn)的信息包括數(shù)據(jù)節(jié)點(diǎn)的數(shù)量；根據(jù)所述集群中數(shù)據(jù)節(jié)點(diǎn)的數(shù)量，將待分配數(shù)據(jù)加載至相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)。

在其中一個(gè)實(shí)施例中，所述根據(jù)所述集群中數(shù)據(jù)節(jié)點(diǎn)的數(shù)量，將待分配數(shù)據(jù)加載至相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)，包括：根據(jù)所述集群中數(shù)據(jù)節(jié)點(diǎn)的數(shù)量，對所述待分配數(shù)據(jù)進(jìn)行均分；將所述均分后的數(shù)據(jù)加載至相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)。

在其中一個(gè)實(shí)施例中，所述數(shù)據(jù)節(jié)點(diǎn)的信息還包括所述可執(zhí)行文件對應(yīng)的當(dāng)前數(shù)據(jù)節(jié)點(diǎn)的標(biāo)識(shí)；所述根據(jù)所述集群中數(shù)據(jù)節(jié)點(diǎn)的數(shù)量，將待分配數(shù)據(jù)加載至相應(yīng)的數(shù)據(jù)節(jié)點(diǎn)，包括：根據(jù)所述集群中數(shù)據(jù)節(jié)點(diǎn)的數(shù)量和所述當(dāng)前數(shù)據(jù)節(jié)點(diǎn)的標(biāo)識(shí)，將所述待分配數(shù)據(jù)加載至與所述當(dāng)前數(shù)據(jù)節(jié)點(diǎn)的標(biāo)識(shí)對應(yīng)的數(shù)據(jù)節(jié)點(diǎn)。

在其中一個(gè)實(shí)施例中，所述根據(jù)所述集群中數(shù)據(jù)節(jié)點(diǎn)的數(shù)量和所述當(dāng)前數(shù)據(jù)節(jié)點(diǎn)的標(biāo)識(shí)，將所述待分配數(shù)據(jù)加載至與所述當(dāng)前數(shù)據(jù)節(jié)點(diǎn)的標(biāo)識(shí)對應(yīng)的數(shù)據(jù)節(jié)點(diǎn)，包括：根據(jù)所述集群中數(shù)據(jù)節(jié)點(diǎn)的數(shù)量，對所述待分配數(shù)據(jù)進(jìn)行均分；根據(jù)所述當(dāng)前數(shù)據(jù)節(jié)點(diǎn)的標(biāo)識(shí)，將所述均分后的數(shù)據(jù)加載至與所述當(dāng)前數(shù)據(jù)節(jié)點(diǎn)的標(biāo)識(shí)對應(yīng)的數(shù)據(jù)節(jié)點(diǎn)。

在其中一個(gè)實(shí)施例中，所述方法還包括：獲取待分配數(shù)據(jù)的數(shù)據(jù)標(biāo)識(shí)；所述根據(jù)所述集群中數(shù)據(jù)節(jié)點(diǎn)的數(shù)量和所述當(dāng)前數(shù)據(jù)節(jié)點(diǎn)的標(biāo)識(shí)，將所述待分配數(shù)據(jù)加載至與所述當(dāng)前數(shù)據(jù)節(jié)點(diǎn)的標(biāo)識(shí)對應(yīng)的數(shù)據(jù)節(jié)點(diǎn)，包括：根據(jù)所述集群中數(shù)據(jù)節(jié)點(diǎn)的數(shù)量和所述數(shù)據(jù)標(biāo)識(shí)，對所述待分配數(shù)據(jù)進(jìn)行分配，并加載至與所述當(dāng)前數(shù)據(jù)節(jié)點(diǎn)的標(biāo)識(shí)對應(yīng)的數(shù)據(jù)節(jié)點(diǎn)。

在其中一個(gè)實(shí)施例中，所述根據(jù)所述集群中數(shù)據(jù)節(jié)點(diǎn)的數(shù)量和所述數(shù)據(jù)標(biāo)識(shí)，對所述待分配數(shù)據(jù)進(jìn)行分配，并加載至與所述當(dāng)前數(shù)據(jù)節(jié)點(diǎn)的標(biāo)識(shí)對應(yīng)的數(shù)據(jù)節(jié)點(diǎn)，包括：對所述數(shù)據(jù)標(biāo)識(shí)和所述集群中數(shù)據(jù)節(jié)點(diǎn)的數(shù)量進(jìn)行取模運(yùn)算，獲取余數(shù)；判斷所述余數(shù)與所述當(dāng)前數(shù)據(jù)節(jié)點(diǎn)的標(biāo)識(shí)之間的對應(yīng)關(guān)系；當(dāng)所述余數(shù)與所述當(dāng)前數(shù)據(jù)節(jié)點(diǎn)的標(biāo)識(shí)滿足預(yù)設(shè)條件時(shí)，將與所述數(shù)據(jù)標(biāo)識(shí)對應(yīng)的數(shù)據(jù)加載至所述當(dāng)前數(shù)據(jù)節(jié)點(diǎn)。