[發(fā)明專利]一種基于Stacking框架的特征選擇方法

在審

• 申請?zhí)枺?/td>: 202110679793.4
• 申請日: 2021-06-18
• 公開（公告）號: CN113535694A
• 公開（公告）日: 2021-10-22
• 發(fā)明（設(shè)計）人: 王海榮;薛偉偉
• 申請（專利權(quán)）人: 北方民族大學
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06N20/20;G16H50/20
• 代理公司: 西安研創(chuàng)天下知識產(chǎn)權(quán)代理事務所(普通合伙) 61239
• 代理人: 郭璐

1.一種基于Stacking框架的特征選擇方法，其特征在于，包括以下步驟：

步驟1：對輸入的疾病數(shù)據(jù)進行清洗，分析各特征維度數(shù)據(jù)缺失情況并進行填充，并對數(shù)據(jù)進行標準化處理，得到更加規(guī)范的用于機器學習的數(shù)據(jù)集；

步驟2：使用K-Fold交叉驗證方式訓練Stacking集成學習模型，并將步驟1得到的數(shù)據(jù)集輸入到所述Stacking集成學習模型中進行訓練，得到特征因子影響矩陣；

步驟3：利用特征選擇算法對所述特征因子影響矩陣進行選擇，不斷迭代刪除冗余特征，最終輸出分類器全局最高精確率和所對應的最優(yōu)特征子集；

步驟4：根據(jù)步驟3得到的最優(yōu)特征子集構(gòu)建基于Stacking框架的疾病診斷模型。

2.根據(jù)權(quán)利要求1所述的一種基于Stacking框架的特征選擇方法，其特征在于，步驟2中所述的Stacking集成學習模型分為兩層架構(gòu)：第一層組合不同的基學習器，包括全連接神經(jīng)網(wǎng)絡和支持向量機；第二層為元學習器，其采用邏輯回歸LR，且元學習器以第一層的預測結(jié)果作為元學習器的輸入，并對最終的結(jié)果進行預測，模型構(gòu)建過程中，為了減少過擬合，利用K-Fold方法交叉訓練基學習器。

3.根據(jù)權(quán)利要求1所述的一種基于Stacking框架的特征選擇方法，其特征在于，步驟3的具體操作步驟包括：

步驟31：利用基學習器中的全連接神經(jīng)網(wǎng)絡模型對特征集中的特征進行分析得到權(quán)重矩陣；

步驟32：利用基學習器中的支持向量機模型對特征集中的特征進行分析得到特征系數(shù)；

步驟33：利用元學習器LR模型分析回歸系數(shù)，得到回歸系數(shù)矩陣，根據(jù)回歸系數(shù)矩陣為各基學習器影響因子賦予權(quán)重，對基學習器各特征影響因子加權(quán)求和，得到特征因子影響矩陣；

步驟34：采用序列后向搜索算法進行特征選擇，最終輸出最大精確率以及與其相對應的最優(yōu)特征子集。