[發明專利]一種數據處理方法、裝置、設備和存儲介質

在審

• 申請號: 201910846331.X
• 申請日: 2019-09-09
• 公開（公告）號: CN110716928A
• 公開（公告）日: 2020-01-21
• 發明（設計）人: 龔偉松;高敏;張慧霞;韋松松;徐玉瑩;孫國川
• 申請（專利權）人: 上海凱京信達科技集團有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06Q10/08
• 代理公司: 11397 北京新知遠方知識產權代理事務所(普通合伙)
• 代理人: 馬軍芳;劉玲

本申請實施例中提供了一種數據處理方法、裝置、設備和存儲介質，包括：獲取待處理的物流數據；將所述物流數據按照新的表結構進行存儲，生成原始表；所述新的表結構包括多個表征物流屬性的字段；對所述原始表存儲的所述物流數據中各字段下的數據執行第一清洗操作，得到第一中間表；其中，所述第一清洗操作包含以下一種或多種：數據去重操作、缺失值補充操作、多余數據清除操作和錯誤數據修正操作；對所述第一中間表存儲的所述物流數據中指定字段下的數據進行第二清洗操作，得到最終表；所述第二清洗操作包括異常數據糾正操作。采用本申請中的方案，能夠解決大數據中的異構和臟數據問題，為后續的大數據分析挖掘提供高質量的數據。

技術領域

本申請涉及信息處理技術，具體地，涉及一種數據處理方法、裝置、設備和存儲介質。

背景技術

隨著移動互聯網和信息技術的高速發展，大數據已經得到廣泛的重視。通過對大數據的分析，可以獲得很多有價值的信息。物流數據亦然。

目前很多中小物流公司采用手工臺賬方式或者是自身的ERP(EnterpriseResource Planning，企業資源計劃)系統來記錄自身的物流數據，使得大部分物流公司的物流數據，其數據結構都是不相同的，并且受到數據記錄和管理過程中的各種影響，每個物流公司的物流數據都不可避免的存在各種臟數據，即存在質量問題，例如數據丟失、數據重復、數據不符合標準、數據不完整、數據過期等等。上述物流數據中的異構和臟數據問題，使得很多物流數據無法正常使用，不利于后續的大數據分析挖掘。

發明內容

本申請實施例中提供了一種數據處理方法、裝置、設備和存儲介質，以解決上述技術問題。

根據本申請實施例的第一個方面，提供了一種數據處理方法，包括：

獲取待處理的物流數據；

將所述物流數據按照新的表結構進行存儲，生成原始表；所述新的表結構包括多個表征物流屬性的字段；

對所述原始表存儲的所述物流數據中各字段下的數據執行第一清洗操作，得到第一中間表；其中，所述第一清洗操作包含以下一種或多種：數據去重操作、缺失值補充操作、多余數據清除操作和錯誤數據修正操作；

對所述第一中間表存儲的所述物流數據中指定字段下的數據進行第二清洗操作，得到最終表；所述第二清洗操作包括異常數據糾正操作。

根據本申請實施例的第二個方面，提供了一種數據處理裝置，包括：

獲取單元，用于獲取待處理的物流數據；

原始表生成單元，用于將所述物流數據按照新的表結構進行存儲，生成原始表；所述新的表結構包括多個表征物流屬性的字段；

第一清洗單元，用于對所述原始表存儲的所述物流數據中各字段下的數據執行第一清洗操作，得到第一中間表；其中，所述第一清洗操作包含以下一種或多種：數據去重操作、缺失值補充操作、多余數據清除操作和錯誤數據修正操作；

第二清洗單元，用于對所述第一中間表存儲的所述物流數據中指定字段下的數據進行第二清洗操作，得到最終表；所述第二清洗操作包括異常數據糾正操作。。

根據本申請實施例的第三個方面，提供了一種計算機存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執行時實現如上所述方法的步驟。

根據本申請實施例的第四個方面，提供了一種電子設備，其特征在于，包括存儲器、以及一個或多個處理器，所述存儲器用于存儲一個或多個程序；所述一個或多個程序被所述一個或多個處理器執行時，實現如上所述的方法。