[發明專利]一種數據清洗方法、裝置及計算機可讀存儲介質

在審

• 申請號: 202110504597.3
• 申請日: 2021-05-10
• 公開（公告）號: CN113204544A
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 宮磊;曾凌菲;黃蔚;詹浩龍;溫境鵬;林逸超
• 申請（專利權）人: 深圳技術大學
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 深圳市恒申知識產權事務所(普通合伙) 44312
• 代理人: 龍丹丹

1.一種數據清洗方法，其特征在于，包括：

從公交IC卡數據中獲取待清洗臟數據；

從數據清洗規則庫中調用對應于所述待清洗臟數據的目標清洗規則；

基于所述目標清洗規則生成相應數據清洗代碼；

通過執行所述數據清洗代碼，對所述待清洗臟數據進行清洗。

2.如權利要求1所述的數據清洗方法，其特征在于，所述從公交IC卡數據中獲取待清洗臟數據的步驟，包括：

從公交IC卡數據中獲取初始臟數據；

對所述初始臟數據進行格式規范和分類，得到待清洗臟數據。

3.如權利要求1所述的數據清洗方法，其特征在于，所述對所述待清洗臟數據進行清洗的步驟，包括：

對所述待清洗臟數據進行格式糾錯處理，得到第一數據清洗結果；

對所述第一數據清洗結果進行邏輯糾錯處理，得到第二數據清洗結果。

4.如權利要求3所述的數據清洗方法，其特征在于，所述對所述待清洗臟數據進行格式糾錯處理的步驟，包括：

刪除所述待清洗臟數據中的無效數據；其中，所述無效數據包括：重復數據、非公交運營時段數據、進出站次數不匹配數據、同站進出數據中至少一種；

在剩余數據中填充缺失數據；其中，所述缺失數據包括：缺失站點數據；

將填充完成的所有數據進行排序。

5.如權利要求3所述的數據清洗方法，其特征在于，所述對所述第一數據清洗結果進行邏輯糾錯處理的步驟，包括：

基于預設GPS坐標轉換規則庫，將所述第一數據清洗結果對應的GPS數據轉換為平面坐標數據；

基于所述平面坐標數據計算乘客換乘距離以及換乘所需時間；

基于所述乘客換乘距離以及所述換乘所需時間識別乘客行程起訖點；

基于所述乘客行程起訖點清除所述第一數據清洗結果中的邏輯錯誤數據。

6.如權利要求1至5中任意一項所述的數據清洗方法，其特征在于，所述通過執行所述數據清洗代碼，對所述待清洗臟數據進行清洗的步驟之后，還包括：

獲取清洗出的各臟數據的來源信息以及去向信息；

根據所述來源信息以及所述去向信息，對所述清洗出的各臟數據進行分類保存。

7.如權利要求1至5中任意一項所述的數據清洗方法，其特征在于，所述通過執行所述數據清洗代碼，對所述待清洗臟數據進行清洗的步驟之后，還包括：

將數據清洗結果對應的數據指標，與對應于數據清洗需求的標準數據指標進行比對；

當根據比對結果確定所述數據清洗結果不達標時，返回執行所述通過執行所述數據清洗代碼，對所述待清洗臟數據進行清洗的步驟。

8.一種數據清洗裝置，其特征在于，包括：

獲取模塊，用于從公交IC卡數據中獲取待清洗臟數據；

調用模塊，用于從數據清洗規則庫中調用對應于所述待清洗臟數據的目標清洗規則；

生成模塊，用于基于所述目標清洗規則生成相應數據清洗代碼；

清洗模塊，用于通過執行所述數據清洗代碼，對所述待清洗臟數據進行清洗。

9.一種電子裝置，其特征在于，包括：處理器、存儲器和通信總線；

所述通信總線用于實現所述處理器和存儲器之間的連接通信；

所述處理器用于執行所述存儲器中存儲的一個或者多個程序，以實現如權利要求1至7中任意一項所述的數據清洗方法的步驟。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有一個或者多個程序，所述一個或者多個程序可被一個或者多個處理器執行，以實現如權利要求1至7中任意一項所述的數據清洗方法的步驟。