[發明專利]數據清洗的方法及終端

有效

• 申請號: 201710221427.8
• 申請日: 2017-04-06
• 公開（公告）號: CN107688592B
• 公開（公告）日: 2020-03-17
• 發明（設計）人: 李治
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/28;G06F9/48
• 代理公司: 深圳中一專利商標事務所 44237
• 代理人: 陽開亮

1.一種數據清洗的方法，其特征在于，所述方法包括：

當接收到對傳統分紅數據的清洗任務時，將所述清洗任務插入預設的任務執行表中，并設置所述清洗任務對應的執行時間；

當所述執行時間到達時，通過Oracle數據庫獲取調度包，按照所述調度包，采用多并發的方式對保單信息進行數據清洗；

將清洗后的保單信息分批次提交并存儲至所述Oracle數據庫中；

所述采用多并發的方式對保單信息進行數據清洗包括：

讀取并發配置表，根據所述并發配置表啟動若干條并發進程；

求取保單信息對應的保單號的末位數字與并發進程總數之間的余數，將所述保單信息分配給所述余數對應的并發進程；

使用游標讀取待處理的保單信息，將所讀取的保單信息緩存至第一預設數組中，并分批次提交至所分配的并發進程，由所述并發進程按照預設的數據清洗算法對所述保單信息進行數據清洗。

2.如權利要求1所述的數據清洗的方法，其特征在于，所述將清洗后的保單信息分批次提交并存儲至所述Oracle數據庫中包括：

將經并發進程清洗后的保單信息讀出至第二預設數組中，采用commit命令分批次將該第二預設數組中的保單信息提交至Oracle數據庫中；

按照每批次中的保單信息的執行時間和對應并發進程的進程編號，將該批次中的保單信息存儲至Oracle數據庫中對應的結果表中。

3.如權利要求1所述的數據清洗的方法，其特征在于，在根據所述并發配置表啟動若干條并發進程之后，所述方法還包括：

從日志表中獲取所述清洗任務的狀態信息；

若所述清洗任務的狀態信息為執行成功，則不再執行本次清洗任務；

若所述清洗任務的狀態信息為執行失敗，則刪除所述若干條并發進程中的已處理數據，并重新執行本次清洗任務。

4.如權利要求1所述的數據清洗的方法，其特征在于，在讀取并發配置表之前，所述方法還包括：

獲取一二元配置表和保單信息基本配置表，根據所述一二元配置表和保單信息基本配置表從所述Oracle數據庫中篩選出待清洗的保單信息；

讀取開關配置表，根據所述開關配置表去除所述待清洗的保單信息中的無效數據。

5.一種終端，其特征在于，所述終端包括：

任務接收模塊，用于當接收到對傳統分紅數據的清洗任務時，將所述清洗任務插入預設的任務執行表中，并設置所述清洗任務對應的執行時間；

并發清洗模塊，用于當所述執行時間到達時，通過Oracle數據庫獲取調度包，按照所述調度包，采用多并發的方式對保單信息進行數據清洗；

存儲模塊，用于將清洗后的保單信息分批次提交并存儲至所述Oracle數據庫中；

所述并發清洗模塊包括：

啟動單元，用于讀取并發配置表，根據所述并發配置表啟動若干條并發進程；

分配單元，用于求取保單信息對應的保單號的末位數字與并發進程總數之間的余數，將所述保單信息分配給所述余數對應的并發進程；

清洗單元，用于使用游標讀取待處理的保單信息，將所讀取的保單信息緩存至第一預設數組中，并分批次提交至所分配的并發進程，由所述并發進程按照預設的數據清洗算法對所述保單信息進行數據清洗。

6.如權利要求5所述的終端，其特征在于，所述存儲模塊包括：

提交單元，用于將經并發進程清洗后的保單信息讀出至第二預設數組中，采用commit命令分批次將該第二預設數組中的保單信息提交至Oracle數據庫中；

存儲單元，用于按照每批次中的保單信息的執行時間和對應并發進程的進程編號，將該批次中的保單信息存儲至Oracle數據庫中對應的結果表中。

7.如權利要求5所述的終端，其特征在于，所述終端還包括：

狀態識別模塊，用于在根據所述并發配置表啟動若干條并發進程之后，從日志表中獲取所述清洗任務的狀態信息；若所述清洗任務的狀態信息為執行成功，則不再執行本次清洗任務；若所述清洗任務的狀態信息為執行失敗，則刪除所述若干條并發進程中的已處理數據，并重新執行本次清洗任務。

8.如權利要求5所述的終端，其特征在于，所述終端還包括：

篩選模塊，用于在讀取并發配置表之前，獲取一二元配置表和保單信息基本配置表，根據所述一二元配置表和保單信息基本配置表從所述Oracle數據庫中篩選出待清洗的保單信息；讀取開關配置表，根據所述開關配置表去除所述待清洗的保單信息中的無效數據。