[發明專利]一種大數據清洗方法、系統及相關裝置

有效

• 申請號: 201910085511.0
• 申請日: 2019-01-29
• 公開（公告）號: CN109800220B
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 胡暉;廖建克
• 申請（專利權）人: 浙江國貿云商企業服務有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

1.一種大數據清洗方法，其特征在于，包括：

采用與數據來源對應的數據獲取方法采集貿易數據；

在將所述貿易數據進行存儲后，獲取所述貿易數據中的目標數據；

利用分子篩算法對所述目標數據進行聚合處理，得到清洗后的各個結果集；

所述利用分子篩算法對所述目標數據進行聚合處理，得到清洗后的各個結果集，包括：

將所述目標數據緩存至分布式消息隊列集群中，得到隊列數據；

對所述隊列數據進行前置處理，得到前置數據；

根據所述貿易數據的特性，選取所述前置數據中的獨立字段或關聯字段作為特征屬性，并確定對應的計算規則；

根據所述特征屬性和所述計算規則，對所述前置數據進行所述聚合處理，得到清洗后的各個所述結果集。

2.根據權利要求1所述的大數據清洗方法，其特征在于，所述對所述隊列數據進行前置處理，得到前置數據，包括：

對所述隊列數據進行重復去除操作、缺失填充操作及數據規范化計算操作，得到所述前置數據。

3.根據權利要求1所述的大數據清洗方法，其特征在于，得到清洗后的各個結果集之后，還包括：

在獲取所述聚合處理中的異類值后，判斷所述異類值與所述貿易數據中相應數據是否存在關聯；

若是，則利用神經網路算法對所述異類值進行修正，得到修正數據；

將各個所述結果集及所述修正數據存儲至分布式存儲系統中。

4.根據權利要求1所述的大數據清洗方法，其特征在于，所述在將所述貿易數據進行存儲后，獲取所述貿易數據中的目標數據，包括：

將所述貿易數據分為兩類，并分別進行結構化存儲及分布式存儲；

獲取進行所述結構化存儲的貿易數據中的所述目標數據。

5.根據權利要求1所述的大數據清洗方法，其特征在于，所述采用與數據來源對應的數據獲取方法采集貿易數據，包括：

采用增量數據抽取的形式采集內部業務系統數據。

6.根據權利要求1所述的大數據清洗方法，其特征在于，所述采用與數據來源對應的數據獲取方法采集貿易數據，包括：

采用數據解析的方式采集非結構化數據。

7.一種大數據清洗系統，其特征在于，包括：

貿易數據采集模塊，用于采用與數據來源對應的數據獲取方法采集貿易數據；

目標數據獲取模塊，用于在將所述貿易數據進行存儲后，獲取所述貿易數據中的目標數據；

聚合處理模塊，用于利用分子篩算法對所述目標數據進行聚合處理，得到清洗后的各個結果集；

所述聚合處理模塊，包括：

目標數據緩存單元，用于將所述目標數據緩存至分布式消息隊列集群中，得到隊列數據；

前置處理單元，用于對所述隊列數據進行前置處理，得到前置數據；

特征屬性及計算規則確定單元，用于根據所述貿易數據的特性，選取所述前置數據中的獨立字段或關聯字段作為特征屬性，并確定對應的計算規則；

聚合處理單元，用于根據所述特征屬性和所述計算規則，對所述前置數據進行所述聚合處理，得到清洗后的各個所述結果集。

8.一種計算機設備，其特征在于，包括：

存儲器和處理器；其中，所述存儲器用于存儲計算機程序，所述處理器用于執行所述計算機程序時實現如權利要求1至6任一項所述的大數據清洗方法的步驟。

9.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序被處理器執行時實現如權利要求1至6任一項所述的大數據清洗方法的步驟。