[發明專利]一種基于數據挖掘的自動化特征選取方法

在審

• 申請號: 202011385830.2
• 申請日: 2020-12-02
• 公開（公告）號: CN112488206A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 洪萬福;錢智毅;松福
• 申請（專利權）人: 廈門淵亭信息科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 陳明鑫;蔡學俊

本發明涉及一種基于數據挖掘的自動化特征選取方法。包括兩個部分：（1）自動化特征提取：從數據集中自動創建候選特征；（2）自動化特征選擇：從自動創建的候選特征中自動選擇最佳特征。本發明在基于數據挖掘的基礎上，進行自動化特征選取，實現自動化特征工程的目的。

技術領域

本發明涉及一種基于數據挖掘的自動化特征選取方法。

背景技術

數據和特征決定了機器學習的上限，而模型和算法只是逼近這個上限而已。由此可見，特征工程在機器學習中占有相當重要的地位。在實際應用當中，可以說特征工程是機器學習成功的關鍵。

通常來說，特征工程是一個漫長的手工過程，依賴于某個特定領域的知識、直覺、以及對數據的操作。這個過程可能會非常乏味并且最終獲得的特性會被人類的主觀性和花在上面的時間所限制。自動特征工程的目標是通過從數據集中創建許多候選特征來幫助數據科學家減輕工作負擔。在許多數據分析和建模項目中，數據科學家會收集到成百上千個特征。更糟糕的是，有時特征數目會大于樣本數目。這種情況很普遍，但在大多數情況下，并不是所有的變量都是與機器試圖理解和建模的內容相關的。所以數據科學家自動化特征選擇來選擇那些重要的特征，并將它們合并到模型中。

發明內容

本發明的目的在于提供一種基于數據挖掘的自動化特征選取方法，在基于數據挖掘的基礎上，進行自動化特征選取，實現自動化特征工程的目的。

為實現上述目的，本發明的技術方案是：一種基于數據挖掘的自動化特征選取方法，包括兩個部分：

（1）自動化特征提?。簭臄祿凶詣觿摻ê蜻x特征；

（2）自動化特征選擇：從自動創建的候選特征中自動選擇最佳特征。

在本發明一實施例中，所述（1）具體實現方式為：

（1.1）輸入數據集，并進行數據清洗；

（1.2）對數據集中的數據進行分析，根據數據集中數據包括結構、屬性的特征，創建實體和實體集，并創建各實體之間的關聯關系；所述實體即表，實體集即表的集合，各實體之間的關聯關系即表與表的關聯關系；

（1.3）根據表中父節點與對應表中子節點的對應關系，計算子節點的統計信息；

（1.4）針對（1.3）的統計信息，對表中一行/列或多行/列執行操作，形成基元，并基于基元構造新的特征。

在本發明一實施例中，所述（2）具體實現方式為：

（2.1）基于構造的新的特征，通過隨機森林對數據集進行擴展，并設定一個特征重要性指標，如：分析特征變量的純度和精確度的排序，以評估特征重要性；

（2.2）對原數據集特征與特征重要性最大的新的特征進行特征重要性比較，不斷迭代比較，并刪除原數據集中比特征重要性最大的新的特征的特征重要性低的特征；

（2.3）達到迭代次數限制后，結束。

在本發明一實施例中，所述（1.4）中，對表中一行/列或多行/列執行操作，包括對對表中一行/列或多行/列執行求差、求和、求積。

相較于現有技術，本發明具有以下有益效果：本發明在基于數據挖掘的基礎上，進行自動化特征選取，實現自動化特征工程的目的。

附圖說明

圖1為本發明一種基于數據挖掘的自動化特征選取方法流程示意圖。

具體實施方式

下面結合附圖，對本發明的技術方案進行具體說明。

本發明提供了一種基于數據挖掘的自動化特征選取方法，包括兩個部分：

（1）自動化特征提?。簭臄祿凶詣觿摻ê蜻x特征；

（2）自動化特征選擇：從自動創建的候選特征中自動選擇最佳特征。

在本發明一實施例中，所述（1）具體實現方式為：