[發明專利]數據處理方法、裝置、計算機設備及存儲介質

有效

• 申請號: 201811188080.2
• 申請日: 2018-10-12
• 公開（公告）號: CN109325034B
• 公開（公告）日: 2023-10-20
• 發明（設計）人: 陳健鵬;伍文岳
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F3/06
• 代理公司: 深圳市精英專利事務所 44242
• 代理人: 林燕云

本申請涉及大數據技術領域，應用于分布式系統，并公開了一種數據處理方法、裝置、計算機設備及存儲介質，該方法包括：掃描數據表以讀取待處理數據，根據數據類型對所述待處理數據進行分類以得到多個鍵值數據；計算每個所述鍵值數據的占比系數，判斷所述占比系數是否大于預設系數閾值；若所述占比系數大于所述預設系數閾值，觸發啟動保存于所述分布式系統中的預設Map?Reduce處理邏輯以將所述鍵值數據分成多份數據塊；根據所述數據塊生成Map任務并發送至Reduce以完成對所述待處理數據的處理。該方法可解決大數據處理時產生的數據傾斜現象。

技術領域

本申請涉及大數據技術領域，尤其涉及一種數據處理方法、裝置、計算機設備及存儲介質。

背景技術

目前，在通過分布式系統對大數據進行處理時，往往會遇到對數據進行分類分區的需求，現有對于數據進行分類分區是通過分布式Key-Value的信息進行動態處理的，但是遇到部分數據量巨大的鍵值數據就會產生數據傾斜，甚至導致數據處理報錯。在進行海量數據動態分區時，如果數據傾斜可能會導致作業失敗，不能實現動態分區的功能，只能人工操作進行分類。如果數據表較多的話，也不利于大批量數據處理。因此，有必要提供一種數據處理方法以解決上述問題。

發明內容

本申請提供了一種數據處理方法、裝置、計算機設備及存儲介質，旨在分布式系統在處理大數據時產生的數據傾斜問題。

本申請提供了一種數據處理方法，應用于分布式系統，其包括：

掃描數據表以讀取待處理數據，根據數據類型對所述待處理數據進行分類以得到多個鍵值數據；

計算每個所述鍵值數據的占比系數，判斷所述占比系數是否大于預設系數閾值；

若所述占比系數大于所述預設系數閾值，觸發啟動保存于所述分布式系統中的預設Map-Reduce處理邏輯以將所述鍵值數據分成多份數據塊；

根據所述數據塊生成Map任務并發送至Reduce以完成對所述待處理數據的處理。

本申請提供了一種數據處理裝置，配置在分布式系統中，其包括：

掃描分類單元，用于掃描數據表以讀取待處理數據，根據數據類型對所述待處理數據進行分類以得到多個鍵值數據；

計算判斷單元，用于計算每個所述鍵值數據的占比系數，判斷所述占比系數是否大于預設系數閾值；

觸發啟動單元，用于若所述占比系數大于所述預設系數閾值，觸發啟動保存于所述分布式系統中的預設Map-Reduce處理邏輯以將所述鍵值數據分成多份數據塊；

生成發送單元，用于根據所述數據塊生成Map任務并發送至Reduce以完成對所述待處理數據的處理。

本申請還提供了一種計算機設備，其包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執行所述程序時實現本申請提供的任意一項所述的數據處理方法的步驟。

本申請還提供了一種計算機存儲介質，其中所述計算機存儲介質存儲有計算機程序，所述計算機程序被處理器執行時使所述處理器執行本申請提供的任意實施例所述的數據處理方法的步驟。

本申請實施例提供了數據處理方法、裝置、計算機設備及存儲介質，通過掃描數據表以讀取待處理數據，對所述待處理數據進行分類以得到多個鍵值數據后；計算每個所述鍵值數據的占比系數，若所述占比系數大于所述預設系數閾值，則觸發啟動預設Map-Reduce處理邏輯，而不采用現有的分布式Key-Value處理方式進行處理；基于所述預設Map-Reduce處理邏輯，根據所述數據塊生成Map任務并發送至Reduce以完成對所述待處理數據的處理。該方法可以提升大數據動態分類分區的處理能力，減少對分布式系統的資源浪費，同時解決大數據處理時產生的數據傾斜現象。

附圖說明