[發明專利]一種數據處理方法、裝置和電子設備

在審

• 申請號: 202011272746.X
• 申請日: 2020-11-13
• 公開（公告）號: CN112380214A
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 劉偉;李曉宇;周宇;張焱
• 申請（專利權）人: 北京神州泰岳智能數據技術有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/25
• 代理公司: 北京市隆安律師事務所 11323
• 代理人: 權鮮枝

本申請公開了一種數據處理方法、裝置和電子設備。其中方法包括：將多個第一原始字段的原始數據進行拼接，得到拼接數據；所述第一原始字段是第一標準字段的關聯字段；將所述拼接數據與所述第一標準字段的關聯表進行匹配，得到匹配結果；根據所述匹配結果確定所述第一標準字段的標準化數據。本申請技術方案的有益效果在于，利用關聯表對原始數據拼接后的拼接數據進行匹配，并依據匹配結果來確定標準化數據，在原始數據過于雜亂或者存在缺失的情況下，依然可以得到很好的數據標準化效果，具有較高的魯棒性和效率。

技術領域

本申請涉及計算機技術領域，尤其涉及一種數據處理方法、裝置和電子設備。

背景技術

當前，各種大數據存儲產品和面向各行業的大數據應用層出不窮，數據處理技術在大數據時代遇到了新的挑戰。例如，不同渠道產生的數據格式迥異，不利于數據的歸集合并。

在一些方案中，選擇利用正則表達式進行數據的標準化處理，但是缺點在于適用場景有限，對于數據內容過于雜亂或者缺失的情形無法滿足需求。

發明內容

本申請實施例提供了一種數據處理方法、裝置和電子設備，能夠實現對雜亂的數據進行有效的標準化處理。

本申請實施例采用下述技術方案：

第一方面，本申請實施例提供一種數據處理方法，包括：將多個第一原始字段的原始數據進行拼接，得到拼接數據；第一原始字段是第一標準字段的關聯字段；將拼接數據與第一標準字段的關聯表進行匹配，得到匹配結果；根據匹配結果確定第一標準字段的標準化數據。

可選地，第一標準字段的關聯表有多個，將拼接數據與第一標準字段的關聯表進行匹配，得到匹配結果包括：按照關聯表的匹配優先級，依次將拼接數據與各關聯表進行匹配；關聯表的各項分別記錄有第一標準字段的標準化數據；在得到匹配項后，停止匹配，將得到的匹配項作為匹配結果；若在各關聯表中均未得到匹配項，則停止匹配，得到無匹配項的匹配結果。

可選地，根據匹配結果確定第一標準字段的標準化數據包括：若匹配結果為無匹配項，則確定第一標準字段的標準化數據為空值；數據處理方法還包括：生成與第一標準字段對應的錯誤信息，以能夠根據錯誤信息實現數據檢查。

可選地，根據匹配結果確定第一標準字段的標準化數據包括：若匹配結果為無匹配項，則利用正則表達式對與第一標準字段直接關聯的第一原始字段的原始數據進行提取，得到第一標準字段的標準化數據。

可選地，數據處理方法還包括：利用正則表達式對從第二原始字段的原始數據進行提取，得到第二標準字段的標準化數據。

可選地，關聯表記錄有多組標準化數據，每組標準化數據包括第一標準字段的標準化數據，以及若干個第三標準字段的標準化數據；數據處理方法還包括：根據匹配結果確定第三標準字段的標準化數據。

可選地，數據處理方法在所有步驟前還包括：加載標準配置文件，標準配置文件中記錄有標準字段與原始字段的關聯關系，以及各標準字段的關聯表。

可選地，標準配置文件還記錄有原始數據文件的存儲路徑和結果文件的存儲路徑，數據處理方法還包括：根據原始數據文件的存儲路徑讀取原始字段的原始數據；將得到的標準化數據寫入到結果文件的相應標準化字段中。

第二方面，本申請實施例還提供一種數據處理裝置，用于實現如上任一所述的數據處理方法。

第三方面，本申請實施例還提供一種電子設備，包括：處理器；以及被安排成存儲計算機可執行指令的存儲器，可執行指令在被執行時使處理器執行如上任一所述的數據處理方法。

第四方面，本申請實施例還提供一種計算機可讀存儲介質，存儲一個或多個程序，一個或多個程序當被包括多個應用程序的電子設備執行時，使得電子設備執行如上任一所述的數據處理方法。