[發明專利]一種數據處理方法、裝置、設備和存儲介質

在審

• 申請號: 201910846331.X
• 申請日: 2019-09-09
• 公開（公告）號: CN110716928A
• 公開（公告）日: 2020-01-21
• 發明（設計）人: 龔偉松;高敏;張慧霞;韋松松;徐玉瑩;孫國川
• 申請（專利權）人: 上海凱京信達科技集團有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06Q10/08
• 代理公司: 11397 北京新知遠方知識產權代理事務所(普通合伙)
• 代理人: 馬軍芳;劉玲

1.一種數據處理方法，其特征在于，包括：

獲取待處理的物流數據；

將所述物流數據按照新的表結構進行存儲，生成原始表；所述新的表結構包括多個表征物流屬性的字段；

對所述原始表存儲的所述物流數據中各字段下的數據執行第一清洗操作，得到第一中間表；其中，所述第一清洗操作包含以下一種或多種：數據去重操作、缺失值補充操作、多余數據清除操作和錯誤數據修正操作；

對所述第一中間表存儲的所述物流數據中指定字段下的數據進行第二清洗操作，得到最終表；所述第二清洗操作包括異常數據糾正操作。

2.根據權利要求1所述的方法，其特征在于，對所述第一中間表存儲的所述物流數據中指定字段下的數據進行第二清洗操作，得到最終表，包括：

對所述第一中間表存儲的所述物流數據中指定字段下的數據進行異常檢測；

當檢測出所述指定字段下的數據異常時，對檢測出的異常數據進行修正，得到所述最終表。

3.根據權利要求2所述的方法，其特征在于，對所述第一中間表存儲的所述物流數據中指定字段下的數據進行異常檢測，包括：

根據所述第一中間表中所述指定字段下的全部數據，確定所述指定字段對應的中位數；

根據所述指定字段對應的中位數，分別判斷所述指定字段下的每個數據是否異常。

4.根據權利要求3所述的方法，其特征在于，根據所述指定字段對應的中位數，分別判斷所述指定字段下的每個數據是否異常，包括：

針對所述指定字段下的每個數據分別執行如下操作：

根據所述指定字段下的當前數據所屬的物流數據，對所述中位數進行調整，得到調整后的中位數；

將所述指定字段下的當前數據和所述調整后的中位數進行比較，若所述指定字段下的當前數據超過所述調整后的中位數的預設倍數，則所述指定字段下的當前數據異常。

5.根據權利要求2所述的方法，其特征在于，當檢測出所述指定字段下的數據異常時，對檢測出的異常數據進行修正，得到所述最終表，包括：

按照如下公式計算所述異常數據的修正值，并將所述異常數據替換為所述修正值，得到所述最終表：

其中，所述C為所述異常數據的修正值，所述M為所述指定字段對應的中位數，所述σ為所述指定字段下的全部數據的標準差，所述N為所述指定字段下的數據的總條數，所述x_i為所述指定字段下的第i條數據值，所述r為所述指定字段下的全部數據的平均值。

6.根據權利要求1所述的方法，其特征在于，所述表征物流屬性的字段包括以下一種或多種：

公司名稱、日期、車型、車長、車牌號、司機信息、發車地、到達地、線路、線路類型、距離、收入、物流票數、快遞件數、快遞重量、快遞體積。

7.根據權利要求6所述的方法，其特征在于，對所述第一中間表存儲的所述物流數據中指定字段下的數據進行第二清洗操作之后，所述方法還包括：

從所述第一中間表中，篩選出所述公司名稱、所述日期、所述車牌號和所述線路均相同的第一物流數據；

將所述第一物流數據按照第一合并規則進行合并，得到第二中間表；其中，所述第一合并規則為：分別對所述第一物流數據中數據類型為數值型的字段下的數據取最大值；

從所述第二中間表中，篩選出所述公司名稱、所述日期、所述發車地相同、所述到達地不同的第二物流數據；

將所述第二物流數據按照第二合并規則進行合并，得到第三中間表；其中，所述第二合并規則為：分別對所述第二物流數據中除所述距離、且數據類型為數值型的字段的數據求和，并將所述距離最遠的到達地作為合并后的到達地；

從所述第三中間表中，篩選出所述公司名稱、所述日期和所述到達地相同、所述發車地不同的第三物流數據；

將所述第三物流數據按照第三合并規則進行合并，得到所述最終表；其中，所述第三合并規則為：分別對所述第三物流數據中除所述距離、且數據類型為數值型的字段對應的數據求和，并將所述距離最遠的發車地作為合并后的發車地。