[發明專利]一種基于Relief和互信息的特征選擇算法

在審

• 申請號: 201810519640.1
• 申請日: 2018-05-28
• 公開（公告）號: CN108875795A
• 公開（公告）日: 2018-11-23
• 發明（設計）人: 王紅濱;褚慈;謝曉東;王勇軍;原明旗;王念濱;周連科;秦帥;李浩然;白云鵬
• 申請（專利權）人: 哈爾濱工程大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供了一種基于Relief和互信息的特征選擇算法，屬于計算機算法領域。本發明的步驟如下：(1)將最優特征子集設置成空集，設置最優特征子集權重；(2)選擇一個數據中的所有特征中不屬于最優特征子集中的特征，將其放入候選最優特征子集中，并通過復合特征評價準則計算當前候選最優特征子集的權重；(3)對此時候選最優特征子集的權重進行評價并更替；(4)去除不符合要求的待選特征；(5)若還有待選特征，則從返回(2)繼續計算。否則，算法結束。本發明提供的方法針對Relief特征選擇算法只能處理二分類問題而不能處理冗余特征的問題進行改進，提出了基于改進的Relief權重的特征選擇算法，使該特征選擇算法計算高效的同時具有更高的計算準確率。

技術領域

本發明涉及一種基于Relief和互信息的特征選擇算法的改進方法，屬于計算機算法領域。

背景技術

特征選擇算法主要分為Filter類、Wrappers類、Embedded類和Hybrid類。其中因為Filter類的特征選擇因計算高效，因此使用較廣泛。其中Filter類中最具代表性的算法便是Relief特征選擇算法，該算法思想簡單且計算高效。但因其只能處理二分類問題，因此在應用中受到制約，且該算法不能處理冗余特征的問題。Hybrid類中的特征選擇算法混合這方面的優點，因此使用也很廣泛。其中，特征選擇算法中，通過使用互信息作為評價準則的算法有著很高的關注度。這類算法通過使用互信息作為評價準則，因此具有處理冗余特征的特性。但是，因在計算特征間互信息時，需要提前計算特征間的概率分布甚至概率密度。因此，此類算法具有很高的計算負載，計算效率不高。

發明內容

本發明提供了一種基于Relief和互信息的特征選擇算法，目的在于解決Relief算法進行特征選擇中只能處理二分類問題，使用互信息作為評價準則的算法在進行特征選擇中計算復雜度高這兩個問題，提出的基于Relief和互信息的特征選擇算法。

本發明的目的通過以下方式實現：

步驟一：將最優特征子集設置成空集，并將最優特征子集的權重設置成整型類型數字的最小值；

步驟二：選擇一個數據中的所有特征中不屬于最優特征子集中的特征，將其放入候選最優特征子集中，并通過復合特征評價準則計算當前候選最優特征子集的權重；

步驟三：如果此時候選最優特征子集的權重大于上一次計算得到的最優特征子集權重，則將最優特征子集權重更新為當前候選最優特征子集的權重，并將當前的候選特征子集作為最優特征子集；

步驟四：如果此時候選最優特征子集的權重小于上一次計算得到的最優特征子集權重，則將該特征從當前數據的待選特征中去除；

步驟五：若還有待選特征，則從返回步驟二繼續計算。否則，算法結束。

與現有技術相比，本發明的優勢在于：

本發明提供的方法針對Relief特征選擇算法只能處理二分類問題而不能處理冗余特征的問題進行改進，提出了基于改進的Relief權重的特征選擇算法。該算法通過對Relief權重進行更改，使其可以評價一組特征子集，解決了Relief算法只能處理二分類問題的局限。針對不能處理冗余特征方面，本發明通過使用互信息作為評價準則解決了冗余特征問題。但是，因為使用互信息作為評價準計算負載高，因此本發明通過使用二次Renyi熵計算互信息，解決該問題。并且，通過使用二次Renyi熵計算互信息的前提下，提出基于互信息的評價準則。更好的解決特征間冗余度與相關度的問題。最后，將改進的Relief權重與使用二次Renyi熵進行計算的基于互信息的評價準則結合，提出一種混合相關度的特征選擇算法，使該特征選擇算法計算高效的同時具有更高的計算準確率。

附圖說明

圖1為本發明的流程框圖；

圖2為本發明中的FSIRW特征選擇算法在不同數據集上的降維效果圖；