[發(fā)明專利]一種利用寬度神經(jīng)網(wǎng)絡(luò)改進的隨機森林集成方法

在審

• 申請?zhí)枺?/td>: 201810582698.0
• 申請日: 2018-06-07
• 公開（公告）號: CN108776820A
• 公開（公告）日: 2018-11-09
• 發(fā)明（設(shè)計）人: 劉鵬;王學(xué)奎;魏卉子;尹良飛;景江波;葉帥;仰彥妍
• 申請（專利權(quán)）人: 中國礦業(yè)大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 南京瑞弘專利商標事務(wù)所(普通合伙) 32249
• 代理人: 楊曉玲

本發(fā)明公開了一種利用寬度神經(jīng)網(wǎng)絡(luò)改進的隨機森林集成方法，適用于機器學(xué)習(xí)領(lǐng)域。主要包括模型設(shè)計和模型訓(xùn)練兩部分，模型設(shè)計部分主要包括特征映射層和增強層的設(shè)計、輸出權(quán)重的設(shè)計兩部分，通過設(shè)計隨機森林和完全隨機森林組成的神經(jīng)網(wǎng)絡(luò)節(jié)點，以自適應(yīng)調(diào)節(jié)模型的寬度，通過節(jié)點的平均準確率得到本地權(quán)重計算輸出權(quán)重，最后求解最終輸出向量。其自動化程度高，通過訓(xùn)練自適應(yīng)決定模型大小，理論分析容易、可解釋性以及并行化能力強。

技術(shù)領(lǐng)域

本發(fā)明涉及一種隨機森林集成方法，尤其適用于集機器集成學(xué)習(xí)領(lǐng)域使用的一種利用寬度神經(jīng)網(wǎng)絡(luò)改進的隨機森林集成方法。

背景技術(shù)

機器學(xué)習(xí)是當下最熱門的研究領(lǐng)域之一，近年來，隨著數(shù)據(jù)量的不斷增長，機器學(xué)習(xí)的效率和準確率問題備受關(guān)注。集成學(xué)習(xí)一直被視為提升模型的準確率的有效方法，該方法在監(jiān)督學(xué)習(xí)以及無監(jiān)督學(xué)習(xí)下都得到廣泛應(yīng)用。

近期周志華(Zhi-Hua Zhou)等人提出一種基于隨機森林之上的集成學(xué)習(xí)方法——深度森林(gcForest)。深度森林是一種卷積神經(jīng)網(wǎng)絡(luò)之外的深度模型，相對深度卷積神經(jīng)網(wǎng)絡(luò)在同樣具備表示學(xué)習(xí)能力的同時具備以下優(yōu)點：模型超參數(shù)少，訓(xùn)練簡單；模型計算量小，可基于PC進行模型訓(xùn)練；模型可擴展，相對卷積神經(jīng)網(wǎng)絡(luò)更加易于并行化。深度森林(gcForest)提出了全新的集成學(xué)習(xí)思路，在準確率方面取得不錯的效果。但深度森林在多層級聯(lián)結(jié)構(gòu)下，深度森林的并行化會受到很大限制；另外深度森林在輸出層通過求解每個輸出向量的平均值得到最終輸出向量，缺乏一定合理性。

發(fā)明內(nèi)容

針對上述技術(shù)問題的不足之處，提供一種自動化程度高，通過訓(xùn)練自適應(yīng)決定模型大小，理論分析容易、可解釋性以及并行化能力強的利用寬度神經(jīng)網(wǎng)絡(luò)改進的隨機森林集成方法。

為解決上述技術(shù)問題，本發(fā)明提出一種基于特征映射層以及增強層結(jié)構(gòu)的隨機森林集成方法，它包括模型設(shè)計和模型訓(xùn)練兩部分；

其中模型設(shè)計部分主要包括特征映射層和增強層的設(shè)計、輸出權(quán)重的設(shè)計兩部分，通過設(shè)計隨機森林和完全隨機森林組成的神經(jīng)網(wǎng)絡(luò)節(jié)點，以自適應(yīng)調(diào)節(jié)模型的寬度，通過節(jié)點的平均準確率得到本地權(quán)重，根據(jù)本地權(quán)重計算輸出權(quán)重，最后求解最終輸出向量；

模型訓(xùn)練部分步驟為，首先將每個原始輸入數(shù)據(jù)處理得到輸入特征向量，其中對于具有空間聯(lián)系的原始數(shù)據(jù)使用多粒度掃描進行處理得到輸入特征向量，將各個特征間不存在空間關(guān)系的一維輸入數(shù)據(jù)作為輸入特征向量，將處理得到的一維輸入特征向量作為一個樣本生成包含n個節(jié)點的特征映射層，求解每個特征映射層節(jié)點的本地權(quán)重，將本地權(quán)重低于一維輸入數(shù)據(jù)節(jié)點重新生成隨機森林，k為類別數(shù)量，；然后將每個樣本經(jīng)過特征映射層得到的輸出同原始特征向量合并作為一個樣本生成包含m個節(jié)點的增強層，求解每個增強層節(jié)點的本地權(quán)重，將本地權(quán)重低于1/k的節(jié)點重新生成隨機森林，通過本地權(quán)重求解每個節(jié)點的輸出權(quán)重；通過上述步驟增加增強層節(jié)點，更新輸出權(quán)重；在上述前向運算訓(xùn)練過程中引入的淘汰制和輸出權(quán)重快速更新方法，使得模型可以快速訓(xùn)練。

2.根據(jù)權(quán)利要求1所述基于特征映射層以及增強層結(jié)構(gòu)的隨機森林集成方法，其特征在于特征映射層和增強層的設(shè)計,特征映射層和增強層均由多個神經(jīng)網(wǎng)絡(luò)節(jié)點組成，每個神經(jīng)網(wǎng)絡(luò)節(jié)點包括一個完全隨機森林和一個隨機森林，其中特征映射層由n個節(jié)點組成，節(jié)點輸出結(jié)果為兩個隨機森林輸出結(jié)果的平均值；