[發(fā)明專利]一種用于冠心病數(shù)據(jù)的核極限學習機及隨機森林分類方法

有效

• 申請?zhí)枺?/td>: 201711399080.2
• 申請日: 2017-12-22
• 公開（公告）號: CN108108762B
• 公開（公告）日: 2021-03-16
• 發(fā)明（設(shè)計）人: 王丹;石智強;杜金蓮;付利華;趙文兵;杜曉林;蘇航
• 申請（專利權(quán)）人: 北京工業(yè)大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/00;G06N20/00;G16H50/20;G16H50/70
• 代理公司: 北京思海天達知識產(chǎn)權(quán)代理有限公司 11203
• 代理人: 張慧

本發(fā)明公開一種用于冠心病數(shù)據(jù)的核極限學習機及隨機森林分類方法，采用Bootstrap方法對冠心病樣本集進行有放回的采樣，生成不同的冠心病數(shù)據(jù)訓練子集和測試子集以供基分類器使用；采用混合核形式的核函數(shù)作為核極限學習機的核函數(shù)，減少核類型對分類模型的性能影響；使用冠心病數(shù)據(jù)訓練子集對核極限學習機進行模型訓練并使用測試子集對基分類器進行性能測試，采用排序加粒子群優(yōu)化的方式循環(huán)判斷重新生成優(yōu)化的新基分類器，剔除并代替分類性能較差的基分類器，從而達到提高整體分類性能的目的；形成隨機森林模型之后，采用相對多數(shù)投票法選取分類結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機軟件領(lǐng)域，尤其涉及一種用于冠心病數(shù)據(jù)分類的基于核極限學習機及并行化的隨機森林分類方法。

背景技術(shù)

醫(yī)療資料顯示，冠心病已經(jīng)成為危害人類健康最嚴重的疾病之一。冠心病的一個特點是很難事先做出準確的診斷，但其發(fā)生和發(fā)展的規(guī)律有一定的規(guī)律可循。在機器學習技術(shù)中，冠心病的診斷本質(zhì)上是一個分類問題，隨著機器學習技術(shù)在醫(yī)療領(lǐng)域中的發(fā)展與應(yīng)用，人們希望借助機器學習技術(shù)和方法輔助對冠心病等復雜疾病的診斷，避免醫(yī)生在診斷過程中由于經(jīng)驗不足導致的誤診，得到更準確的診斷結(jié)果，幫助醫(yī)生建立臨床輔助決策模型，為其在臨床應(yīng)用中提供科學依據(jù)。

從研究人員利用不同的模型對冠心病數(shù)據(jù)分類的結(jié)果顯示，基于SVM和神經(jīng)網(wǎng)絡(luò)的模型表現(xiàn)出較好的分類性能。但是仍然存在如下一些問題。第一，對于SVM和神經(jīng)網(wǎng)絡(luò)，很典型的一個難題是模型的參數(shù)選擇問題，參數(shù)的選擇對分類結(jié)果有很大的影響，而且參數(shù)的選擇沒有統(tǒng)一的標準和理論指導；第二，已存在的很多方法都采用單分類模型，分類性能往往會受到單分類器性能的限制而達到瓶頸，第三，典型人工神經(jīng)網(wǎng)絡(luò)模型復雜且訓練速度慢。

極限學習機(ELM)比SVM和神經(jīng)網(wǎng)絡(luò)具有更優(yōu)的性能，它的優(yōu)點在于只含有一個隱藏層，輸入層與隱藏層的網(wǎng)絡(luò)權(quán)重值和偏倚值隨機產(chǎn)生，而隱藏層和輸出層之間的輸出權(quán)重直接計算求出，不需要迭代調(diào)節(jié)網(wǎng)絡(luò)權(quán)重，避免了梯度下降法產(chǎn)生的局部極值、學習時間長及學習率低的影響等問題，因此訓練速度非常快。但是，由于極限學習機的隱藏層節(jié)點數(shù)目是隨機給定的，而實際實驗顯示隱藏層節(jié)點數(shù)目的選取很大程度上決定了神經(jīng)網(wǎng)絡(luò)的分類精度是否可最優(yōu)。換言之，就是極限學習機的神經(jīng)元數(shù)目直接關(guān)系到神經(jīng)網(wǎng)絡(luò)的系統(tǒng)逼近與泛化性能。隨機產(chǎn)生輸入層與隱藏層的網(wǎng)絡(luò)權(quán)重值和偏倚值導致極限學習機對未在訓練集中出現(xiàn)的樣本泛化能力差、輸出結(jié)果不穩(wěn)定等缺點，需要大量的隱藏層節(jié)點才能達到理想的精度。為了進一步提高極限學習機的泛化能力和穩(wěn)定性，黃廣斌等人在極限學習機中引入核函數(shù)，形成核極限學習機(KELM)，避免了隨機產(chǎn)生的輸入權(quán)重和偏倚值的問題，使極限學習機的泛化能力更強，更穩(wěn)定。同時，我們也發(fā)現(xiàn)，目前大多數(shù)的預測分類模型在醫(yī)療領(lǐng)域中還不能完全擺脫人工干預，因為分類精度不夠高。如果充分利用海量的數(shù)據(jù)支持可以提高分類精度，特別是對神經(jīng)網(wǎng)絡(luò)來說，數(shù)據(jù)規(guī)模越大，神經(jīng)網(wǎng)絡(luò)性能就越強。但是，單機是無法處理海量數(shù)據(jù)的，因此，還要進一步對分類系統(tǒng)進行并行化來解決能夠處理海量數(shù)據(jù)的問題。

隨機森林算法是一種用于分類，回歸和其他任務(wù)的集成學習方法，它由多個弱基分類器組成。它在運算量沒有顯著增加的前提下提高了預測精度。它對多元公線性不敏感，結(jié)果對缺失數(shù)據(jù)和非平衡的數(shù)據(jù)比較穩(wěn)健，可以很好地預測多達幾千個解釋變量的作用。