[發(fā)明專利]一種數(shù)據(jù)加載處理方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710627618.4
• 申請(qǐng)日: 2017-07-28
• 公開（公告）號(hào): CN107562533B
• 公開（公告）日: 2021-08-06
• 發(fā)明（設(shè)計(jì)）人: 許溢天;龐磊;阮若夷
• 申請(qǐng)（專利權(quán)）人: 創(chuàng)新先進(jìn)技術(shù)有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50;G06F9/445
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 李輝

本申請(qǐng)實(shí)施例公開了一種數(shù)據(jù)加載處理方法及裝置。所述方法包括：獲取多個(gè)用戶數(shù)據(jù)；計(jì)算各個(gè)用戶數(shù)據(jù)的散列值；根據(jù)所述散列值，將具有相同散列值的用戶數(shù)據(jù)劃分至同一個(gè)計(jì)算節(jié)點(diǎn)進(jìn)行數(shù)據(jù)加載處理。利用本申請(qǐng)實(shí)施例，可以快速、實(shí)時(shí)地加載大規(guī)模用戶數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)加載處理方法及裝置。

背景技術(shù)

近幾年，隨著大數(shù)據(jù)處理技術(shù)的快速發(fā)展，在很多業(yè)務(wù)場(chǎng)景下需要對(duì)大量用戶數(shù)據(jù)進(jìn)行實(shí)時(shí)處理。在一個(gè)典型的應(yīng)用場(chǎng)景中，對(duì)于電商網(wǎng)絡(luò)平臺(tái)而言，經(jīng)常在重要促銷活動(dòng)日出現(xiàn)用戶數(shù)據(jù)暴漲的情況，對(duì)此，電商網(wǎng)絡(luò)平臺(tái)需要快速處理暴漲的用戶數(shù)據(jù)，以實(shí)時(shí)滿足用戶的需求。在處理用戶數(shù)據(jù)的過程中，各平臺(tái)往往需要根據(jù)用戶日志數(shù)據(jù)從后臺(tái)數(shù)據(jù)庫中加載所述用戶日志數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)，所述關(guān)聯(lián)數(shù)據(jù)例如可以包括用戶的歷史行為數(shù)據(jù)、用戶個(gè)人信息資料等。因此，如何快速地獲取海量用戶日志數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)是大數(shù)據(jù)處理過程中亟需解決的問題。

由于數(shù)據(jù)庫中關(guān)聯(lián)數(shù)據(jù)的數(shù)據(jù)量較大、數(shù)據(jù)關(guān)系復(fù)雜，往往通過多個(gè)計(jì)算節(jié)點(diǎn)并行加載多個(gè)用戶日志數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)。將所述關(guān)聯(lián)數(shù)據(jù)加載至所述計(jì)算節(jié)點(diǎn)之后，在需要所述關(guān)聯(lián)數(shù)據(jù)時(shí)，可以直接從所述計(jì)算節(jié)點(diǎn)中獲取相關(guān)數(shù)據(jù)?，F(xiàn)有技術(shù)中，通過多個(gè)計(jì)算節(jié)點(diǎn)加載數(shù)據(jù)的方式主要包括兩種，一種是全量加載方式，即將所有的關(guān)聯(lián)數(shù)據(jù)加載至所有的計(jì)算節(jié)點(diǎn)中。但是全量加載方式通常使用在關(guān)聯(lián)數(shù)據(jù)量較少的情況，一旦數(shù)據(jù)量較多時(shí)，往往造成計(jì)算節(jié)點(diǎn)內(nèi)存溢出的情況，無法滿足大數(shù)據(jù)應(yīng)用場(chǎng)景。第二種方式是最近最少使用加載方式，即在計(jì)算節(jié)點(diǎn)上緩存部分常用關(guān)聯(lián)數(shù)據(jù)，該方式雖然可以加載多個(gè)用戶的關(guān)聯(lián)數(shù)據(jù)，但是這種方式的處理效率有限，若計(jì)算節(jié)點(diǎn)缺少部分關(guān)聯(lián)數(shù)據(jù)時(shí)，還需要重新加載，另外對(duì)計(jì)算節(jié)點(diǎn)的存儲(chǔ)壓力也是相當(dāng)大。另外，上述兩種方式無法實(shí)現(xiàn)對(duì)計(jì)算節(jié)點(diǎn)的水平擴(kuò)展，即無法預(yù)先確定各個(gè)計(jì)算節(jié)點(diǎn)能夠加載的數(shù)據(jù)。

因此，現(xiàn)有技術(shù)中亟需一種能夠快速、實(shí)時(shí)加載用戶關(guān)聯(lián)數(shù)據(jù)的方式。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例的目的在于提供一種數(shù)據(jù)加載處理方法及裝置，可以快速、實(shí)時(shí)地加載大規(guī)模用戶數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)。

本申請(qǐng)實(shí)施例提供的一種數(shù)據(jù)加載處理方法及裝置具體是這樣實(shí)現(xiàn)的：

一種數(shù)據(jù)加載處理方法，所述方法包括：

獲取多個(gè)用戶數(shù)據(jù)；

計(jì)算各個(gè)用戶數(shù)據(jù)的散列值；

根據(jù)所述散列值，將具有相同散列值的用戶數(shù)據(jù)劃分至同一個(gè)計(jì)算節(jié)點(diǎn)進(jìn)行數(shù)據(jù)加載處理。

一種數(shù)據(jù)記載處理裝置，所述裝置包括：

用戶數(shù)據(jù)獲取單元，用于獲取多個(gè)用戶數(shù)據(jù)；

散列值計(jì)算單元，用于計(jì)算各個(gè)用戶數(shù)據(jù)的散列值；

數(shù)據(jù)劃分單元，用于根據(jù)所述散列值，將具有相同散列值的用戶數(shù)據(jù)劃分至同一個(gè)計(jì)算節(jié)點(diǎn)進(jìn)行數(shù)據(jù)加載處理。

一種數(shù)據(jù)記載處理裝置，包括處理器以及用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器，所述處理器執(zhí)行所述指令時(shí)實(shí)現(xiàn)：

獲取多個(gè)用戶數(shù)據(jù)；

計(jì)算各個(gè)用戶數(shù)據(jù)的散列值；

根據(jù)所述散列值，將具有相同散列值的用戶數(shù)據(jù)劃分至同一個(gè)計(jì)算節(jié)點(diǎn)進(jìn)行數(shù)據(jù)加載處理。