[發明專利]一種虛擬樣本生成方法

在審

• 申請號: 201510496474.4
• 申請日: 2015-08-13
• 公開（公告）號: CN105046320A
• 公開（公告）日: 2015-11-11
• 發明（設計）人: 湯健;孫春來;毛克峰;賈美英;李東;李立國;胡亞男
• 申請（專利權）人: 中國人民解放軍61599部隊計算所
• 主分類號: G06N3/00
• 分類號: G06N3/00
• 代理公司: 北京成創同維知識產權代理有限公司 11449
• 代理人: 劉鋒;柳興坤

技術領域

本發明涉及機器學習技術領域，具體涉及一種虛擬樣本生成方法。

背景技術

基于大數據的機器學習技術已經廣泛和成功地應用于很多不同的行業。對于許多稀有疾病的醫療記錄和柔性制造系統的早期階段，只有少量的訓練樣本能夠用于構造預測模型。對于復雜的流程工業過程，為實現其優化控制和運行優化，必需對關鍵機械設備的難以檢測過程參數進行測量或預測，如磨礦過程磨機內部負荷參數難以直接檢測和采用機理模型直接計算得到，主要采用基于磨機筒體的振動和振聲信號高維頻譜數據的軟測量方法進行。但有效的建模數據只能在兩個階段獲得：(1)專門為軟測量模型構建進行的實驗設計階段；(2)磨機的停止運行和重新開始運行階段。在實際工業過程中，以犧牲經濟利益為代價或經過很長的等待時間后，也許可以獲得足夠數量的可用的訓練樣本。在稀有疾病的醫療記錄和柔性制造系統的早期階段同樣存在類似的難以獲得足夠建模樣本的問題。因此，現實情況是我們必須進行面向高維小樣本數據的建模研究。

研究表明，足夠的樣本數量對于構建有效的學習模型非常重要。目前已有的大量的研究多面向分類問題，如文獻[1]研究了分類誤差、學習樣本數量、樣本輸入維數和分類算法復雜性間的相互關系。為了確定獲得必要的預測性能而需要的最小樣本的數量，研究人員提出了概率近似正確、訓練樣本與輸入特征比率等指標[2,3]。目前，關于小樣本數據的定義也是非常相對和主觀的。

現有技術提出了一種新的巨型趨勢分散(MTD)技術用于解決早期柔性制造系統的計劃調度問題，主要采用虛擬樣本生成(VirtualSampleGeneration，VSG)技術提高誤差逆傳播神經網絡(BPNN)模型的分類精度。目前，已有多種類型的VSG方法，如利用領域專家知識、將噪聲加入輸入數據、利用原始樣本的分布函數等。這些研究多面向基于高維小樣本數據的分類問題。

對于用于回歸問題的虛擬樣本生成，文獻[4]提出基于多層感知器網絡的VSG方法用于提高學習模型的泛化性能，其中：虛擬樣本的輸入通過選擇真實樣本輸入的附近點產生，虛擬樣本的輸出通過平衡不同多層感知器網絡輸出數據獲得。文獻[5]提出用分散神經網絡(DNN)產生虛擬樣本和建模小數據集，仿真結果表明DNN比BPNN具有更強的預測性能。這些方法通常都是單獨處理訓練樣本的輸入特征。最近，文獻[6]提出的基于遺傳算法(GA)的VSG方法可以描述不同輸入特征間的積分效應。

上述方法采用傳統的單模型產生虛擬樣本。對于具有復雜分布的建模數據或高維小樣本訓練數據，傳統的單模型建模方法難以進行有效的模式識別或回歸建模。

【1】S.J.Raudys,A.K.Jain,“SmallSampleSizeEffectsinStatisticalPatternRecognition:RecommendationsforPractitioners,”IEEETransactionsonPatternAnalysisandMachineIntelligence,vol.13,no.3,pp.252-265,1991.

【2】J.Shawe-Taylor,M.Anthony,andN.L.Biggs,“BoundingSampleSizewiththeVapnik-ChervonenkisDimension,”DiscreteAppliedMath.,vol.42,pp.65-73,1993.

【3】Y.MutoandY.Hamamoto,“ImprovementoftheParzenClassifierinSmallTrainingSampleSizeSituations,”IntelligentDataAnalysis,vol.5,no.6,pp.477-490,2001.

【4】S.Z.Cho,M.Jang,S.J.Chang.Virtualsamplegenerationusingapopulationofnetworks,neuralprocessingletters,vol.5,pp.83-89,1997.

【5】C.F.HuangandC.Moraga,“ADiffusion-Neural-NetworkforLearningfromSmallSamples,”Int’lJ.ApproximateReasoning,vol.35,pp.137-161,2004.