[發(fā)明專利]數(shù)據(jù)處理方法、裝置、計算機設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201811188080.2
• 申請日: 2018-10-12
• 公開（公告）號: CN109325034B
• 公開（公告）日: 2023-10-20
• 發(fā)明（設(shè)計）人: 陳健鵬;伍文岳
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F3/06
• 代理公司: 深圳市精英專利事務(wù)所 44242
• 代理人: 林燕云

1.一種數(shù)據(jù)處理方法，應(yīng)用于分布式系統(tǒng)，其特征在于，包括：

掃描數(shù)據(jù)表以讀取待處理數(shù)據(jù)，根據(jù)數(shù)據(jù)類型對所述待處理數(shù)據(jù)進行分類以得到多個鍵值數(shù)據(jù)；

計算每個所述鍵值數(shù)據(jù)的占比系數(shù)，判斷所述占比系數(shù)是否大于預(yù)設(shè)系數(shù)閾值；

若所述占比系數(shù)大于所述預(yù)設(shè)系數(shù)閾值，觸發(fā)啟動保存于所述分布式系統(tǒng)中的預(yù)設(shè)Map-Reduce處理邏輯以將所述鍵值數(shù)據(jù)分成多份數(shù)據(jù)塊；

根據(jù)所述數(shù)據(jù)塊生成Map任務(wù)并發(fā)送至Reduce以完成對所述待處理數(shù)據(jù)的處理。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述掃描數(shù)據(jù)表以讀取待處理數(shù)據(jù)，根據(jù)數(shù)據(jù)類型對所述待處理數(shù)據(jù)進行分類以得到多個鍵值數(shù)據(jù)之前，還包括：

在所述分布式系統(tǒng)的Map端創(chuàng)建內(nèi)存緩沖區(qū)，所述內(nèi)存緩沖區(qū)具有預(yù)設(shè)大小空間；

將預(yù)設(shè)閾值寫入所述Map-Reduce的配置文件中為所述內(nèi)存緩沖區(qū)配置預(yù)設(shè)系數(shù)閾值；以及

將預(yù)設(shè)處理規(guī)則配置在所述配置文件中并為所述內(nèi)存緩沖區(qū)設(shè)置守護線程以完成所述預(yù)設(shè)Map-Reduce處理邏輯的設(shè)置，所述預(yù)設(shè)處理規(guī)則用于根據(jù)Reduce的數(shù)量將所述鍵值數(shù)據(jù)分成相應(yīng)份數(shù)的數(shù)據(jù)塊。

3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)處理方法，其特征在于，所述根據(jù)所述數(shù)據(jù)塊生成Map任務(wù)并發(fā)送至Reduce以完成對所述待處理數(shù)據(jù)的處理，包括：

開啟所述守護線程，根據(jù)所述數(shù)據(jù)塊生成對應(yīng)的Map任務(wù)，并將所述Map任務(wù)發(fā)送至Reduce，所述Reduce根據(jù)所述Map任務(wù)完成對數(shù)據(jù)塊的處理并保存對應(yīng)的文件目錄以生成鍵值數(shù)據(jù)文件；

將多個所述鍵值數(shù)據(jù)文件合并成分類文件，并輸出所述分類文件以完成對所述待處理數(shù)據(jù)的處理。

4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述判斷所述占比系數(shù)是否大于預(yù)設(shè)系數(shù)閾值之后，還包括：

若所述占比系數(shù)不大于所述預(yù)設(shè)系數(shù)閾值，則采用分布式Key-Value處理方式對所述鍵值數(shù)據(jù)進行處理。

5.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述根據(jù)數(shù)據(jù)類型對所述待處理數(shù)據(jù)進行分類以得到多個鍵值數(shù)據(jù)，包括：

獲取預(yù)設(shè)的分類類型，根據(jù)所述分類類型對所述待處理數(shù)據(jù)進行分類以得到多個鍵值數(shù)據(jù)，所述預(yù)設(shè)的分類類型包括時間類型、區(qū)域類型、渠道類型或接觸類型。

6.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述掃描數(shù)據(jù)表以讀取待處理數(shù)據(jù)，根據(jù)數(shù)據(jù)類型對所述待處理數(shù)據(jù)進行分類以得到多個鍵值數(shù)據(jù)，包括：

掃描數(shù)據(jù)表以讀取待處理數(shù)據(jù)，并將所述待處理數(shù)據(jù)保存至數(shù)據(jù)預(yù)留區(qū)，所述數(shù)據(jù)預(yù)留區(qū)為預(yù)先在分布式系統(tǒng)的服務(wù)器的內(nèi)存中開設(shè)的數(shù)據(jù)保留區(qū)；

在所述數(shù)據(jù)預(yù)留區(qū)中對所述待處理數(shù)據(jù)進行數(shù)據(jù)切割處理，并對數(shù)據(jù)切割處理后的數(shù)據(jù)作預(yù)分類處理以得到鍵值數(shù)據(jù)。

7.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述計算每個所述鍵值數(shù)據(jù)的占比系數(shù)，包括：

統(tǒng)計所有的鍵值數(shù)據(jù)對應(yīng)的數(shù)據(jù)總量；以及計算每個所述鍵值數(shù)據(jù)與所述數(shù)據(jù)總量的比值，將所述比值作為所述鍵值數(shù)據(jù)的占比系數(shù)。

8.一種數(shù)據(jù)處理裝置，配置在分布式系統(tǒng)中，其特征在于，包括：

掃描分類單元，用于掃描數(shù)據(jù)表以讀取待處理數(shù)據(jù)，根據(jù)數(shù)據(jù)類型對所述待處理數(shù)據(jù)進行分類以得到多個鍵值數(shù)據(jù)；

計算判斷單元，用于計算每個所述鍵值數(shù)據(jù)的占比系數(shù)，判斷所述占比系數(shù)是否大于預(yù)設(shè)系數(shù)閾值；

觸發(fā)啟動單元，用于若所述占比系數(shù)大于所述預(yù)設(shè)系數(shù)閾值，觸發(fā)啟動保存于所述分布式系統(tǒng)中的預(yù)設(shè)Map-Reduce處理邏輯以將所述鍵值數(shù)據(jù)分成多份數(shù)據(jù)塊；

生成發(fā)送單元，用于根據(jù)所述數(shù)據(jù)塊生成Map任務(wù)并發(fā)送至Reduce以完成對所述待處理數(shù)據(jù)的處理。

9.一種計算機設(shè)備，其特征在于，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如權(quán)利要求1至7中任意一項所述方法的步驟。

10.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時使所述處理器執(zhí)行如權(quán)利要求1至7任意一項所述方法的步驟。