[發明專利]一種機器學習中避免大數據冗余的方法

在審

• 申請號: 201611130182.X
• 申請日: 2016-12-09
• 公開（公告）號: CN106650948A
• 公開（公告）日: 2017-05-10
• 發明（設計）人: 劉立;許建衛;竇曉光
• 申請（專利權）人: 曙光信息產業（北京）有限公司
• 主分類號: G06N99/00
• 分類號: G06N99/00
• 代理公司: 北京德恒律治知識產權代理有限公司11409
• 代理人: 章社杲,盧軍峰

1.一種機器學習中避免大數據冗余的方法，其特征在于，包括以下步驟：

S1、將訓練數據按照預設規則均勻劃分為規模相當的若干份；

S2、對每一份數據按照預設的訓練步驟進行訓練計算，并繪制出跟隨訓練步驟的屬性值曲線；

S3、根據每份屬性值曲線的相似度，保留相應的屬性值曲線對應的數據和初步訓練結果；

S4、根據屬性值曲線的相似度對保留的數據和初步訓練結果進行排序，將相鄰的相似度達到閾值的屬性值曲線對應的數據和初步訓練結果分別進行加權，返回步驟S2，直至所有訓練數據合并為一個數據，并得到最終的訓練結果。

2.如權利要求1所述的機器學習中避免大數據冗余的方法，其特征在于，當所述訓練數據采用空間數據時，所述預設規則為：按照空間坐標信息將所述空間數據均勻劃分為規模相當的若干份。

3.如權利要求1所述的機器學習中避免大數據冗余的方法，其特征在于，所述屬性值曲線為精度曲線或誤差曲線。

4.如權利要求1所述的機器學習中避免大數據冗余的方法，其特征在于，步驟S3具體為：

比較每份屬性值曲線的相似度，判斷相似度是否達到閾值；

若相似度達到閾值，則隨機保留其中一份屬性值曲線對應的數據和初步訓練結果；若相似度未達到閾值，則保留所有屬性值曲線對應的數據和初步訓練結果。

5.如權利要求4所述的機器學習中避免大數據冗余的方法，其特征在于，所述相似度的閾值上限為95％，所述相似度的閾值下限為99％。