[發明專利]數據預處理方法、裝置、計算機設備及存儲介質

在審

• 申請號: 201911348312.0
• 申請日: 2019-12-24
• 公開（公告）號: CN111177217A
• 公開（公告）日: 2020-05-19
• 發明（設計）人: 曾芳;鄧德榮;王鈞宇;房倩琦;王紅松
• 申請（專利權）人: 平安信托有限責任公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/21
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 黃章輝

1.一種數據預處理方法，其特征在于，包括：

判斷天氣樣本數據的指定因子的數據類型；

獲取與所述數據類型匹配的第一數據填充方法，并根據所述第一數據填充方法對所述天氣樣本數據在指定因子上的缺失值進行第一次填充；

在所有所述天氣樣本數據的缺失值填充完畢后，通過預設嵌入式特征選擇算法對存在已填充缺失值的指定因子進行篩選，獲得優選因子；

判斷已填充的缺失值屬于優選因子的天氣樣本數據是否存在歷史數據；

若已填充的缺失值屬于優選因子的天氣樣本數據存在歷史數據，則根據第二數據填充方法和所述歷史數據計算替換值，將所述已填充的缺失值替換為所述替換值。

2.如權利要求1所述的數據預處理方法，其特征在于，所述判斷天氣樣本數據的指定因子的數據類型之前，還包括：

計算所述天氣樣本數據在各個因子的缺失率；

分別判斷所述各個因子的缺失率是否小于預設缺失閾值；

將缺失率小于預設缺失閾值的因子確定為所述指定因子，并刪除缺失率大于或等于預設缺失閾值的因子。

3.如權利要求1所述的數據預處理方法，其特征在于，所述獲取與所述數據類型匹配的第一數據填充方法，并根據所述第一數據填充方法對所述天氣樣本數據在指定因子上的缺失值進行第一次填充，包括：

若所述數據類型為數值型，則計算所述天氣樣本數據在指定因子上所有未缺失的值的平均值；

將所述缺失值替換為所述平均值。

4.如權利要求1所述的數據預處理方法，其特征在于，所述獲取與所述數據類型匹配的第一數據填充方法，并根據所述第一數據填充方法對所述天氣樣本數據在指定因子上的缺失值進行第一次填充，包括：

若所述數據類型為非數值型，則計算所述天氣樣本數據在指定因子上所有未缺失的值的眾數；

將所述缺失值替換為所述眾數。

5.如權利要求1所述的數據預處理方法，其特征在于，所述通過預設嵌入式特征選擇算法對存在已填充缺失值的指定因子進行篩選，獲得優選因子，包括：

通過隨機森林算法計算各個存在已填充缺失值的指定因子的重要性；

選取重要性高于預設重要性閾值的指定因子為優選因子。

6.如權利要求1所述的數據預處理方法，其特征在于，所述根據第二數據填充方法和所述歷史數據計算替換值，將所述已填充的缺失值替換為所述替換值，包括：

從所述歷史數據中選取指定時間范圍的區間歷史數據；

使用預設線性計算函數對所述區間歷史數據進行處理，計算出所述替換值；

將所述已填充的缺失值替換為所述替換值。

7.一種數據預處理裝置，其特征在于，包括：

類型判斷模塊，用于判斷天氣樣本數據的指定因子的數據類型；

一次填充模塊，用于獲取與所述數據類型匹配的第一數據填充方法，并根據所述第一數據填充方法對所述天氣樣本數據在指定因子上的缺失值進行第一次填充；

篩選因子模塊，用于在所有所述天氣樣本數據的缺失值填充完畢后，通過預設嵌入式特征選擇算法對存在已填充缺失值的指定因子進行篩選，獲得優選因子；

歷史數據查詢模塊，用于判斷已填充的缺失值屬于優選因子的天氣樣本數據是否存在歷史數據；

二次填充模塊，用于若已填充的缺失值屬于優選因子的天氣樣本數據存在歷史數據，則根據第二數據填充方法和所述歷史數據計算替換值，將所述已填充的缺失值替換為所述替換值。

8.如權利要求7所述的數據預處理裝置，其特征在于，還包括因子排除模塊，所述因子排除模塊包括：

缺失率計算單元，用于計算所述天氣樣本數據在各個因子的缺失率；

分別判斷所述各個因子的缺失率是否小于預設缺失閾值；

將缺失率小于預設缺失閾值的因子確定為所述指定因子，并刪除缺失率大于或等于預設缺失閾值的因子。