[發明專利]數據清洗方法、裝置、電子設備及存儲介質

在審

• 申請號: 202011106674.1
• 申請日: 2020-10-16
• 公開（公告）號: CN112199364A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 黃一格
• 申請（專利權）人: 平安國際智慧城市科技股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/2457
• 代理公司: 深圳市賽恩倍吉知識產權代理有限公司 44334
• 代理人: 遲珊珊

1.一種數據清洗方法，其特征在于，所述數據清洗方法包括：

當檢測到配置庫更新時，生成數據清洗請求，并根據所述數據清洗請求確定觸發所述配置庫更新的目標配置表；

確定與所述目標配置表對應的目標數據源，并確定所述目標配置表中的更新信息；

從所述更新信息中獲取指示數據信息，所述指示數據信息包括數據類型及配置條件；

從所述目標數據源中讀取與所述指示數據信息對應的待清洗數據；

解析所述更新信息，得到清洗信息，所述清洗信息包括清洗規則、字段類型、配置替換值；

利用所述清洗信息清洗所述待清洗數據，得到目標數據，并將所述目標數據寫入所述目標數據源，得到清洗后的目標數據源；

對所述清洗后的目標數據源進行數據質量檢測；

當所述清洗后的目標數據源通過數據質量檢測時，以所述清洗后的目標數據源響應所述數據清洗請求。

2.如權利要求1所述的數據清洗方法，其特征在于，所述生成數據清洗請求包括：

獲取所述配置庫的庫標識，并獲取檢測到所述配置庫更新時的更新時間；

從預設日志表中獲取同時與所述庫標識及所述更新時間對應的日志列表；

從所述日志列表中提取表標識，并封裝所述表標識，得到所述數據清洗請求。

3.如權利要求1所述的數據清洗方法，其特征在于，所述確定所述目標配置表中的更新信息包括：

獲取所述目標配置表的修訂信息，并獲取所述修訂信息的至少一個修訂時間；

從所述至少一個修訂時間中確定出與所述更新時間相同的修訂時間作為目標時間；

確定與所述目標時間對應的修訂信息作為所述更新信息。

4.如權利要求1所述的數據清洗方法，其特征在于，所述從所述更新信息中獲取指示數據信息，所述指示數據信息包括數據類型及配置條件包括：

遍歷所述更新信息，并將遍歷到的更新信息與類型庫中所有類型進行匹配；

當所述遍歷到的更新信息與所述類型庫中的任意類型匹配時，將所述遍歷到的更新信息確定為所述數據類型，或者，當所述遍歷到的更新信息與所述所有類型均不匹配時，確定所述遍歷到的更新信息的字節；

當所述字節大于預設閾值時，將所述遍歷到的更新信息確定為所述配置條件。

5.如權利要求1所述的數據清洗方法，其特征在于，所述從所述目標數據源中讀取與所述指示數據信息對應的待清洗數據包括：

從預設線程池中獲取閑置線程，并確定所述閑置線程的處理效率；

按照所述處理效率從高至低的順序對所述閑置線程進行排序，得到線程隊列；

確定所述指示數據信息的信息數量，并從所述線程隊列提取前N個閑置線程作為目標線程，N的取值為所述信息數量；

利用所述目標線程從所述目標數據源中讀取同時與所述數據類型及所述配置條件對應的數據作為所述待清洗數據。

6.如權利要求1所述的數據清洗方法，其特征在于，所述對所述清洗后的目標數據源進行數據質量檢測包括：

從所述清洗后的目標數據源中讀取與所述指示數據信息對應的臟數據；

計算所述臟數據的數據量，并計算所述目標數據的總量；

將所述數據量除以所述總量，得到所述臟數據的占比；

當所述占比小于第一預設占比時，確定所述清洗后的目標數據源通過數據質量檢測；或者

當所述占比大于第二預設占比時，確定所述清洗后的目標數據源未通過數據質量檢測，所述第二預設占比大于所述第一預設占比。

7.如權利要求6所述的數據清洗方法，其特征在于，當所述清洗后的目標數據源未通過數據質量檢測時，所述方法還包括：

根據所述臟數據生成提示信息，并將所述提示信息發送至所述配置庫的更新終端；

當接收到來自所述更新終端的反饋信息時，解析所述反饋信息，得到解析信息；

當所述解析信息指示清洗時，利用所述清洗信息清洗所述臟數據。