[發明專利]數據清洗方法、裝置、電子設備及存儲介質

在審

• 申請號: 202210126365.3
• 申請日: 2022-02-10
• 公開（公告）號: CN114490616A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 昝吉超
• 申請（專利權）人: 北京星漢博納醫藥科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06Q10/06;G06Q10/10
• 代理公司: 成都頂峰專利事務所(普通合伙) 51224
• 代理人: 曹源

1.一種數據清洗方法，其特征在于，包括：

獲取企業資源規劃系統中的待清洗數據集；

基于所述企業資源規劃系統的系統關聯信息，確定出與所述待清洗數據集對應的數據清洗規則，所述數據清洗規則中定義有指定順序的至少一個數據清洗項目；

基于所述數據清洗規則中所定義的所述至少一個數據清洗項目，對所述待清洗數據集中的臟數據進行數據清洗。

2.根據權利要求1所述的方法，其特征在于，所述至少一個數據清洗項目包括不一致數據的檢測清洗項目、空值的檢測清洗項目、相似/重復記錄的檢測清洗項目以及非法值的檢測清洗項目。

3.根據權利要求2所述的方法，其特征在于，基于所述相似/重復記錄的檢測清洗項目對所述待清洗數據集中的臟數據進行數據清洗，包括：

對所述待清洗數據集中的數據進行排序，得到待清洗數據序列；

從所述待清洗數據序列中選取出所有具有連續N個數據的子序列，得到多個數據子序列，N為大于1的整數；

計算每個數據子序列中的第一個數據與其余數據之間的匹配度；

基于每個數據子序列中的第一個數據與其余數據之間的匹配度，確定出每個數據子序列中的第一個數據是否為相似/重復的臟數據；

對確定出的所有臟數據進行數據清洗；

其中，數據子序列中的第一個數據與其余數據之間的匹配度為m＝l_i1/((l_i1+l_in)/2)，l_i1表示第i個數據子序列中的第一個數據的字符長度，l_in表示第i個數據子序列中的第n個數據的字符長度，i為正整數，n為大于等于2的正整數。

4.根據權利要求3所述的方法，其特征在于，所述對所述待清洗數據集中的數據進行排序，包括：

基于關鍵字段對所述待清洗數據集中的數據進行排序。

5.根據權利要求1所述的方法，其特征在于，所述方法還包括：

將清洗后的臟數據發送至數據中心，以便所述數據中心檢驗所述待清洗數據集中的臟數據是否清洗成功；

其中，所述數據中心用于存儲所述企業資源規劃系統中的所述待清洗數據集。

6.根據權利要求5所述的方法，其特征在于，在所述待清洗數據集中的臟數據清洗成功后，所述方法還包括：

生成數據清洗報告。

7.根據權利要求1所述的方法，其特征在于，所述系統關聯信息為所述企業資源規劃系統所對應企業的企業類型或所述企業資源規劃系統所對應的應用程序接口。

8.一種數據清洗裝置，其特征在于，包括：

獲取單元，用于獲取企業資源規劃系統中的待清洗數據集；

確定單元，用于基于所述企業資源規劃系統的系統關聯信息，確定出與所述待清洗數據集對應的數據清洗規則，所述數據清洗規則中定義有指定順序的至少一個數據清洗項目；

數據清洗單元，用于基于所述數據清洗規則中所定義的所述至少一個數據清洗項目，對所述待清洗數據集中的臟數據進行數據清洗。

9.一種電子設備，其特征在于，包括處理器、通信接口、存儲器和通信總線，其中，處理器，通信接口，存儲器通過總線完成相互間的通信；

存儲器，用于存放計算機程序；

處理器，用于執行存儲器上所存放的程序，實現以下流程：

獲取企業資源規劃系統中的待清洗數據集；

基于所述企業資源規劃系統的系統關聯信息，確定出與所述待清洗數據集對應的數據清洗規則，所述數據清洗規則中定義有指定順序的至少一個數據清洗項目；

基于所述數據清洗規則中所定義的所述至少一個數據清洗項目，對所述待清洗數據集中的臟數據進行數據清洗。

10.一種計算機可讀存儲介質，其特征在于，所述存儲介質內存儲有計算機程序，所述計算機程序被處理器執行時實現以下流程：

獲取企業資源規劃系統中的待清洗數據集；

基于所述企業資源規劃系統的系統關聯信息，確定出與所述待清洗數據集對應的數據清洗規則，所述數據清洗規則中定義有指定順序的至少一個數據清洗項目；

基于所述數據清洗規則中所定義的所述至少一個數據清洗項目，對所述待清洗數據集中的臟數據進行數據清洗。