[發明專利]一種防止銷售預測模型過擬合的方法

在審

• 申請號: 201810283548.X
• 申請日: 2018-04-02
• 公開（公告）號: CN108446771A
• 公開（公告）日: 2018-08-24
• 發明（設計）人: 羅小婭;李柯
• 申請（專利權）人: 四川長虹電器股份有限公司
• 主分類號: G06N99/00
• 分類號: G06N99/00;G06Q30/02
• 代理公司: 四川省成都市天策商標專利事務所 51213
• 代理人: 秦華云;劉渝

本發明公開了一種防止銷售預測模型過擬合的方法，由銷售預測模型算法選擇與建立、銷售預測模型訓練及測試、模型過擬合問題處理三部分組成，銷售預測模型算法選擇與建立是根據已經準備好的建模數據選擇算法，建立模型，銷售預測模型訓練及測試是根據建立好的算法，通過對歷史數據的機器學習，發現并掌握數據規律，再根據模型訓練探索出來的數據規則，對測試集的數據進行驗證，模型過擬合問題處理是使用正則化技術方法對模型出現的過擬合問題進行處理。本發明的方法根據已知數據即歷史數據尋找模型參數、尋找數據規律，不斷的訓練不斷的試錯；從種子數據中培養模型規則，深度學習訓練，以滿足真實業務預測。

技術領域

本發明涉及大數據應用技術領域，特別涉及一種防止銷售預測模型過擬合的方法。

背景技術

隨著大數據廣泛應用，在數據挖掘或者機器學習模型建立的時候，在統計學習中，假設數據滿足獨立同分布，即當前已產生的數據可以對未來的數據進行推測與模擬，因此使用歷史數據建立模型，即使用已經產生的數據去訓練模型，然后使用該模型去擬合未來的數據。

但是一般獨立同分布的假設往往不成立，即數據的分布可能會發生變化，并且可能當前的數據量過少，不足以對整個數據集進行分布估計，因此往往需要防止模型過擬合，提高模型泛化能力。

在對模型進行訓練時，有可能遇到訓練數據不夠，即訓練數據無法對整個數據的分布進行估計的時候，或者在對模型進行過度訓練時，常常會導致模型的過擬合，表現為對歷史訓練數據表現很好，對新數據/測試數據表現學習很差。即銷售預測數據模型在訓練集中表現很好，但是應用到真實業務實踐中效果不盡人意，即銷售預測模型對樣本數據擬合對很好，但樣本外的實際應用數據擬合效果差。

其主要造成原因有：建模樣本抽取錯誤；數據有噪聲；訓練數據不足，有限的訓練數據；訓練模型過度導致模型非常復雜。

傳統的過擬合處理辦法主要有：第一，依靠增加樣本數據，但在歷史數據有限情況下此法不太適用；第二，謹慎使用神經網絡等要求高的數據模型，但此方法會造就模型算法準確度降低；第三，人為分割訓練集合驗證集的比例，這需要建模人員主觀經驗；第四，減少變量數量，這會影響模型的精度。

發明內容

本發明的目的是克服上述背景技術中不足，提供一種防止銷售預測模型過擬合的方法，可防止算法模型對樣本學習過程中，建模樣本抽樣、樣本噪聲數據干擾、算法模型搭建發生過擬合，避免大幅度降低模型的效果和效率。

為了達到上述的技術效果，本發明采取以下技術方案：

一種防止銷售預測模型過擬合的方法，具體包含以下步驟：

A.銷售預測模型算法選擇：

A1.對銷售預測業務進行調研分析，梳理銷售預測模型目標，確定業務模型類型及數量、確定目標模型最低精準度；

A2.銷售預測模型算法選擇：根據業務需求及銷售數據特性，以精準度為首要要求配置多種適合的算法；

B.建立業務活動銷售預測模型：

確定選擇的模型算法，從mysql數據庫中獲取建模數據，并在R語言上使用選擇的算法建立銷售預測模型；

C.銷售預測模型訓練及測試：

C1.將已有的歷史數據劃分為訓練集和測試集；

C2.訓練集中包含標注有學習目標的標注數據，通過建立模型的算法學習器分析標注數據的規律嘗試擬合出銷量、銷售額與標注數據之間的函數關系得到目標函數或代價函數；

D.通過測試集對訓練好的銷售預測算法模型進行驗證：

在已經訓練好的銷售預測模型輸入測試集的數據進行模型計算驗證，并把計算結果與實際測試集中結果數據對比，分析模型的過擬合程度；