[發明專利]大數據存儲處理方法和裝置

有效

• 申請號: 202110013371.3
• 申請日: 2021-01-06
• 公開（公告）號: CN112732187B
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 章偉
• 申請（專利權）人: 廣州鼎甲計算機科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06N20/00
• 代理公司: 泉州市興博知識產權代理事務所(普通合伙) 35238
• 代理人: 易敏

1.一種大數據存儲處理方法，其特征在于，包括：

將獲取到的數據分成M份，其中，M為自然數，每份的數據量相同，所述數據中的每一條數據均是作為訓練數據使用，所述每一條數據均包括輸入數據和對應的輸出數據，所述訓練數據用于機器學習模型的訓練；

分別使用所述M份數據中的每一份數據進行訓練，并記錄該份數據收斂的時間；

根據收斂時間從長到短的順序對所述M份數據進行排列；

丟棄前N份數據，并將剩余數據進行保存，其中，N為小于M的自然數；

獲取第一份數據和第二份數據時間的差值，第三份數據和第四份數據的收斂時間的差值，直到獲取第M-1份數據到第M份數據的時間差值；獲取這些時間差值的平均值，將差值大于平均值的兩組數據標記出來；如果這兩組數據中有其中一組被拋棄，則將這兩組數據中的收斂時間長的一組數據作為反面例子數據保存；

保存下來的數據用來進行機器學習，其中，將保存下來的數據經過訓練得到一個模型，將丟棄的N份數據中的每組訓練數據中的輸入數據輸入到該模型中，該模型輸出一個輸出數據，比較所述模型的輸出數據以及每組訓練數據原有的輸出數據，如果兩者相同，則將該組數據進行保存。

2.根據權利要求1所述的方法，其特征在于，所述M大于等10，并且小于等20。

3.根據權利要求2所述的方法，其特征在于，所述M為16。

4.根據權利要求1所述的方法，其特征在于，所述N大于所述M的一半。

5.一種存儲器，其特征在于，用于存儲軟件，其中，所述軟件用于執行權利要求1至4中任一項所述的方法。

6.一種處理器，其特征在于，用于執行軟件，其中，所述軟件用于執行權利要求1至4中任一項所述的方法。