[發明專利]一種基于隨機森林特征提取的BP神經網絡的數值預測方法

在審

• 申請號: 201910025537.6
• 申請日: 2019-01-13
• 公開（公告）號: CN109754122A
• 公開（公告）日: 2019-05-14
• 發明（設計）人: 胡燕祝;王松
• 申請（專利權）人: 胡燕祝
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06N3/08;G06N99/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及基于隨機森林特征提取的BP神經網絡的數值預測方法屬于機器學習和數據挖掘領域，其特征在于采用如下步驟：(1)選擇袋外數據X₁(x₁，x₂，...，x_n)，計算袋外數據誤差error⁽¹⁾；(2)隨機對袋外數據所有樣本的特征T(t₁，t₂，...，t_m)加入噪聲干擾，再次計算袋外數據誤差error⁽²⁾；(3)計算所有特征T(t₁，t₂，...，t_m)的重要性I；(4)確定重要性較大的特征T(t₁，t₂，...，t_s)及其重要程度ω(ω₁，ω₂，...ω_s)；(5)訓練BP神經網絡，更新連接權值ω_i；(6)將測試集樣本作為輸入，進行特征選擇然后將選擇好的特征輸入到BP神經網絡中進行預測，得到預測結果。本發明所建立的基于隨機森林特征提取的BP神經網絡的數值預測方法，用隨機森林提取樣本集的特征并對其重要性程度進行了量化，實現數值預測。通過多組數據實驗對比結果可知，該預測方法為數值預測，提供了在保證了預測精度的基礎上增強模型的泛化能力的預測方法。

技術領域

本發明涉及機器學習與數據挖掘領域，主要是一種數值預測方法。

背景技術

目前針對數值預測問題，大多數模型可以在很高的程度上擬合原始數據，但是模型泛化能力較差。這些模型往往在訓練集上表現出很好的預測性能，然而在測試集上或者一些新出現的數據中，預測能力會大大降低。神經網絡雖然具有很好的泛化能力，但是在模型訓練過程中收斂速度太慢，導致訓練時間過長，不能滿足數值預測對時效性的要求。以BP神經網絡為例，早期的BP神經網絡存在收斂速度慢，易陷入局部最優等問題。雖然BP神經網絡采用誤差反向傳播的方法來調整各層神經元之間的權值，但是在最初始建模的時候，輸入層神經元與第一個隱藏層神經元之間的連接權值是通過初始化的方法設定的隨機數，這可能是導致后續網絡訓練是陷入局部最優的一個原因。

我國在數值預測方面也取得了一些豐富成果。例如，利用深度學習在電力負荷、交通流量、空氣質量等方面實現了較好的數值預測。隨著計算機互聯網的飛速發展以及海量數據的指數級增長，對模型的特征選擇以及預測性能指標提出了更高的要求。因此，要實現準確、高效地對某些領域的數值進行預測，達到數值預測的要求，必須建立一種精確、泛化能力強的數值預測方法，進一步減小模型預測值與實際值之間的誤差，使得預測結果更加準確，為我國經濟和商業等領域提供一種精準、可靠的數值變化監測方式，為未來的發展和管理提供指導性意見。

發明內容

針對上述現有技術中存在的問題，本發明要解決的技術問題是提供一種精確、泛化能力強的數值預測方法，其具體流程如圖1所示。

技術方案實施步驟如下：

(1)選擇袋外數據X₁(x₁，x₂，...，x_n)，計算袋外數據誤差error⁽¹⁾：

式中，g₂，g₃，...，g_i是沒有抽到的袋外數據，N為樣本總數。

(2)隨機對袋外數據所有樣本的特征T(t₁，t₂，...，t_m)加入噪聲干擾，再次計算袋外數據誤差error⁽²⁾：