[發明專利]數據預處理方法、裝置、計算機設備及存儲介質

在審

• 申請號: 201911348312.0
• 申請日: 2019-12-24
• 公開（公告）號: CN111177217A
• 公開（公告）日: 2020-05-19
• 發明（設計）人: 曾芳;鄧德榮;王鈞宇;房倩琦;王紅松
• 申請（專利權）人: 平安信托有限責任公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/21
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 黃章輝

本發明涉及分類模型領域，公開了一種數據預處理方法、裝置、計算機設備及存儲介質，其方法包括：判斷天氣樣本數據的指定因子的數據類型；獲取與數據類型匹配的第一數據填充方法，并根據第一數據填充方法對天氣樣本數據在指定因子上的缺失值進行第一次填充；在所有天氣樣本數據的缺失值填充完畢后，通過預設嵌入式特征選擇算法對存在已填充缺失值的指定因子進行篩選，獲得優選因子；判斷已填充的缺失值屬于優選因子的天氣樣本數據是否存在歷史數據；若已填充的缺失值屬于優選因子的天氣樣本數據存在歷史數據，則根據第二數據填充方法和歷史數據計算替換值，將已填充的缺失值替換為替換值。本發明可提高數據挖掘方法的預測準確率。

技術領域

本發明涉及分類模型領域，尤其涉及一種數據預處理方法、裝置、計算機設備及存儲介質。

背景技術

在信息時代，信息的收集變得越來越便利。收集到的信息通過數據加工方法處理，生成人們需要的數據處理結果。數據挖掘作為數據加工方法的一種，在人們的日常生活得到普遍的應用。

在數據挖掘中，數據預處理是十分重要的環節，對數據處理結果的優劣產生巨大影響。而在數據預處理中，最常見的問題是數據質量差，數據質量差的普遍表現為數據缺失。

數據缺失在許多研究領域都是一個復雜的問題。對數據挖掘來說，空值的存在，造成了以下影響：首先，系統丟失了大量的有用信息；第二，系統中所表現出的不確定性更加顯著，系統中蘊涵的確定性成分更難把握；第三，包含空值的數據會使挖掘過程陷入混亂，導致不可靠的輸出。

數據挖掘算法本身更致力于避免數據過分適合所建的模型，這一特性使得它難以通過自身的算法去處理好缺失的數據。缺失的數據需要通過數據填充方法進行推導、填充等，以減少數據挖掘算法與實際應用之間的差距?，F有技術中，數據填充方法有很多種，如均值填充、插值法等。然而，這些數據填充方法在處理特定應用場景的數據時，常常會出現不匹配的情況。以均值填充為例，在用于天氣數據的填充時，若用長時間段的天氣數據在某個屬性的均值去填充指定時間段在該屬性的值，顯然不夠精確，且缺少邏輯相關性。

發明內容

基于此，有必要針對上述技術問題，提供一種數據預處理方法、裝置、計算機設備及存儲介質，以提高數據挖掘方法的預測準確率。

一種數據預處理方法，包括：

判斷天氣樣本數據的指定因子的數據類型；

獲取與所述數據類型匹配的第一數據填充方法，并根據所述第一數據填充方法對所述天氣樣本數據在指定因子上的缺失值進行第一次填充；

在所有所述天氣樣本數據的缺失值填充完畢后，通過預設嵌入式特征選擇算法對存在已填充缺失值的指定因子進行篩選，獲得優選因子；

判斷已填充的缺失值屬于優選因子的天氣樣本數據是否存在歷史數據；

若已填充的缺失值屬于優選因子的天氣樣本數據存在歷史數據，則根據第二數據填充方法和所述歷史數據計算替換值，將所述已填充的缺失值替換為所述替換值。

一種數據預處理裝置，包括：

類型判斷模塊，用于判斷天氣樣本數據的指定因子的數據類型；

一次填充模塊，用于獲取與所述數據類型匹配的第一數據填充方法，并根據所述第一數據填充方法對所述天氣樣本數據在指定因子上的缺失值進行第一次填充；

篩選因子模塊，用于在所有所述天氣樣本數據的缺失值填充完畢后，通過預設嵌入式特征選擇算法對存在已填充缺失值的指定因子進行篩選，獲得優選因子；

歷史數據查詢模塊，用于判斷已填充的缺失值屬于優選因子的天氣樣本數據是否存在歷史數據；