[發明專利]大數據處理方法、裝置、設備及計算機可讀存儲介質

有效

• 申請號: 202110093307.0
• 申請日: 2021-01-25
• 公開（公告）號: CN112464619B
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 李澤華
• 申請（專利權）人: 平安國際智慧城市科技股份有限公司
• 主分類號: G06F40/126
• 分類號: G06F40/126;G06F40/157
• 代理公司: 北京鴻元知識產權代理有限公司 11327
• 代理人: 袁文婷;張娓娓

本發明涉及大數據處理技術，揭露一種大數據處理方法，包括：根據數據處理指令，獲取待處理目標所需的目標數據；將目標數據主題字段替換為與其相對應的預設字段編碼，得到目標數據主題編碼；將目標數據主題編碼與目標數據值進行映射處理，得到目標數據值與目標數據主題編碼的編碼數據映射表；根據編碼數據映射表和預先獲取的目標處理函數對待處理目標進行大數據處理。本發明還涉及區塊鏈技術，數據主題字段編碼字典表存儲于區塊鏈中。本發明能夠解決現有技術中，直接基于原始數據進行處理的方式，對磁盤、網絡消耗、內存消耗非常大，且處理時間長等問題。

技術領域

本發明涉及大數據處理，尤其涉及一種大數據處理的方法、裝置、電子設備及計算機可讀存儲介質。

背景技術

大數據技術出現后，給海量數據中分析出有價值的數據，提供了很大的便利性，也為商業數據分析，商業決策，運營分析等提供了比較好的支持。

但是在目前大數據處理框架，如大數據的計算處理框架中的SPARK計算框架，在進行計算時候，往往是根據數據源實際的數據進行計算處理，即數據來源是什么樣，數據處理時候就直接用原始數據進行，而實際數據主題字段的長度往往是非常長的，例如企業用戶的ID，是32個以上的字符串長度，訂單ID是比32位更長的字符串長度，并且數據處理過程中，往往是按照這種字符串長度很長的字段進行分組聚合處理，按照字符串長度很長的字段進行關聯等。

上述這種直接基于原始數據進行處理的方式，雖然對大數據分布式處理來說，能得出處理結果，但是整個過程中對磁盤IO、網絡消耗、內存消耗非常大，且處理時間長。

發明內容

本發明提供一種大數據處理方法、裝置、電子設備及計算機可讀存儲介質，其主要目的在于能夠解決現有技術中，直接基于原始數據進行處理的方式，對磁盤、網絡消耗、內存消耗非常大，且處理時間長等問題。

第一方面，為實現上述目的，本發明提供的一種大數據處理方法，包括：

根據數據處理指令，獲取待處理目標所需的目標數據；其中，所述目標數據包括目標數據主題字段以及與所述目標數據主題字段相對應的目標數據值；

根據預設數據主題字段編碼字典表，將所述目標數據主題字段替換為與其相對應的預設字段編碼，得到目標數據主題編碼；其中，每個目標數據主題字段均匹配有一一對應的預設字段編碼；且，所述預設字段編碼的字符串長度小于所述目標數據主題字段的字符串長度；

將所述目標數據主題編碼與所述目標數據值進行映射處理，得到所述目標數據值與所述目標數據主題編碼的編碼數據映射表；

根據所述編碼數據映射表和預先獲取的目標處理函數對所述待處理目標進行大數據處理；其中，所述目標處理函數為處理所述待處理目標所需的函數，每個待處理目標均匹配有相應的目標處理函數。

第二方面，為了解決上述問題，本發明還提供一種大數據處理裝置，所述裝置包括：

目標數據獲取模塊，用于根據數據處理指令，獲取待處理目標所需的目標數據；其中，所述目標數據包括目標數據主題字段以及與所述目標數據主題字段相對應的目標數據值；

目標數據主題編碼獲取模塊，用于根據預設數據主題字段編碼字典表，將所述目標數據主題字段替換為與其相對應的預設字段編碼，得到目標數據主題編碼；其中，每個目標數據主題字段均匹配有一一對應的預設字段編碼；且，所述預設字段編碼的字符串長度小于所述目標數據主題字段的字符串長度；

編碼數據映射表生成模塊，用于將所述目標數據主題編碼與所述目標數據值進行映射處理，得到所述目標數據值與所述目標數據主題編碼的編碼數據映射表；

大數據處理模塊，用于根據所述編碼數據映射表和預先獲取的目標處理函數對所述待處理目標進行大數據處理；其中，所述目標處理函數為處理所述待處理目標所需的函數，每個待處理目標均匹配有相應的目標處理函數。