[發明專利]一種數據預處理方法及裝置

在審

• 申請號: 202110032431.6
• 申請日: 2021-01-11
• 公開（公告）號: CN112835867A
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 徐薇;孟欣;程呈;李志強;高雨晗
• 申請（專利權）人: 中國農業銀行股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/215
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 李偉

1.一種數據預處理方法，其特征在于，包括：

對源數據文件進行解壓，得到待處理數據文件，并統計所述待處理數據文件中的數據量大小以及數據行的行數和數據列的列數；

根據所述數據行的行數和所述數據列的列數從數據預處理庫中匹配對應的線程數量，所述數據預處理庫中存儲有數據行的行數、數據列的列數與線程數量的對應關系；

按列將所述待處理數據文件劃分為所述線程數量對應的份數，并使用Pandas包里的工具將每列數據創建為series對象進行存儲；

根據所述數據行或所述數據列的數據元素業務含義從預處理規則集合中確定對應的預處理規則，所述預處理規則集合中存儲有數據元素業務含義與預處理規則的對應關系；

使用對應的所述預處理規則，按列對所述待處理數據文件中的每列數據進行預處理。

2.根據權利要求1所述的方法，其特征在于，所述對源數據文件進行解壓，得到待處理數據文件，并統計所述待處理數據文件中的數據量大小以及數據行的行數和數據列的列數，具體為：

對gz壓縮包格式的所述源數據文件進行解壓，得到待處理數據文件；

使用Pandas將所述待處理數據文件讀取到數據緩存中；

根據所述待處理數據文件的讀取情況統計所述待處理數據文件中的所述數據量大小以及所述數據行的行數和所述數據列的列數。

3.根據權利要求1所述的方法，其特征在于，所述根據所述數據行的行數和所述數據列的列數從數據預處理庫中匹配對應的線程數量，所述數據預處理庫中存儲有數據行的行數、數據列的列數與線程數量的對應關系，具體為：

獲取所述待處理數據文件的所述數據量大小、所述數據行的行數和所述數據列的列數；

將所述數據行的行數和所述數據列的列數與對應的預設值進行對比，從所述數據預處理庫中匹配對應的所述線程數量，所述數據預處理庫中存儲有數據行的行數、數據列的列數與線程數量的對應關系。

4.根據權利要求1所述的方法，其特征在于，針對每一列數據的預處理，具體為：

提取所述待處理數據文件中當前列數據；

根據所述數據行或所述數據列的數據元素業務含義判斷所述預處理規則集合中是否存在所述待處理數據文件對應的數據元素業務含義；

若是，則使用所述數據元素業務含義確定對應的預處理規則，并按照所述預處理規則對所述待處理數據文件中當前列數據進行預處理；

若否，則為所述待處理數據文件中當前列數據配置對應的預處理規則和數據元素業務含義，得到新的預處理規則，使用所述新的預處理規則對所述待處理數據文件中當前列數據進行預處理，并將所述新的預處理規則以及對應的數據元素業務含義存儲在所述預處理規則集合中。

5.根據權利要求4所述的方法，其特征在于，在對所述待處理數據文件中每一列數據進行預處理的過程中，還包括：

判斷所述待處理數據文件中所有列數據是否處理完成；

若否，則提取所述待處理數據文件中當前列數據的下一列數據，使用所述預處理規則對所述待處理數據文件中下一列數據進行預處理。

6.一種數據預處理裝置，其特征在于，包括：

第一處理單元，用于對源數據文件進行解壓，得到待處理數據文件，并統計所述待處理數據文件中的數據量大小以及數據行的行數和數據列的列數；

第二處理單元，用于根據所述數據行的行數和所述數據列的列數從數據預處理庫中匹配對應的線程數量，所述數據預處理庫中存儲有數據行的行數、數據列的列數與線程數量的對應關系；

第三處理單元，用于按列將所述待處理數據文件劃分為所述線程數量對應的份數，并使用Pandas包里的工具將每列數據創建為series對象進行存儲；

第四處理單元，用于根據所述數據行或所述數據列的數據元素業務含義從預處理規則集合中確定對應的預處理規則，所述預處理規則集合中存儲有數據元素業務含義與預處理規則的對應關系；

第五處理單元，用于使用對應的所述預處理規則，按列對所述待處理數據文件中的每列數據進行預處理。