[發明專利]大數據存儲處理方法和裝置有效
| 申請號： | 202110013371.3 | 申請日： | 2021-01-06 |
| 公開（公告）號： | CN112732187B | 公開（公告）日： | 2022-08-12 |
| 發明（設計）人： | 章偉 | 申請（專利權）人： | 廣州鼎甲計算機科技有限公司 |
| 主分類號： | G06F3/06 | 分類號： | G06F3/06;G06N20/00 |
| 代理公司： | 泉州市興博知識產權代理事務所(普通合伙) 35238 | 代理人： | 易敏 |
| 地址： | 510000 廣東省廣州市高*** | 國省代碼： | 廣東;44 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 數據 存儲 處理 方法 裝置 | ||
1.一種大數據存儲處理方法，其特征在于，包括：
將獲取到的數據分成M份，其中，M為自然數，每份的數據量相同，所述數據中的每一條數據均是作為訓練數據使用，所述每一條數據均包括輸入數據和對應的輸出數據，所述訓練數據用于機器學習模型的訓練；
分別使用所述M份數據中的每一份數據進行訓練，并記錄該份數據收斂的時間；
根據收斂時間從長到短的順序對所述M份數據進行排列；
丟棄前N份數據，并將剩余數據進行保存，其中，N為小于M的自然數；
獲取第一份數據和第二份數據時間的差值，第三份數據和第四份數據的收斂時間的差值，直到獲取第M-1份數據到第M份數據的時間差值；獲取這些時間差值的平均值，將差值大于平均值的兩組數據標記出來；如果這兩組數據中有其中一組被拋棄，則將這兩組數據中的收斂時間長的一組數據作為反面例子數據保存；
保存下來的數據用來進行機器學習，其中，將保存下來的數據經過訓練得到一個模型，將丟棄的N份數據中的每組訓練數據中的輸入數據輸入到該模型中，該模型輸出一個輸出數據，比較所述模型的輸出數據以及每組訓練數據原有的輸出數據，如果兩者相同，則將該組數據進行保存。
2.根據權利要求1所述的方法，其特征在于，所述M大于等10，并且小于等20。
3.根據權利要求2所述的方法，其特征在于，所述M為16。
4.根據權利要求1所述的方法，其特征在于，所述N大于所述M的一半。
5.一種存儲器，其特征在于，用于存儲軟件，其中，所述軟件用于執行權利要求1至4中任一項所述的方法。
6.一種處理器，其特征在于，用于執行軟件，其中，所述軟件用于執行權利要求1至4中任一項所述的方法。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于廣州鼎甲計算機科技有限公司，未經廣州鼎甲計算機科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202110013371.3/1.html，轉載請聲明來源鉆瓜專利網。
- 數據顯示系統、數據中繼設備、數據中繼方法、數據系統、接收設備和數據讀取方法
- 數據記錄方法、數據記錄裝置、數據記錄媒體、數據重播方法和數據重播裝置
- 數據發送方法、數據發送系統、數據發送裝置以及數據結構
- 數據顯示系統、數據中繼設備、數據中繼方法及數據系統
- 數據嵌入裝置、數據嵌入方法、數據提取裝置及數據提取方法
- 數據管理裝置、數據編輯裝置、數據閱覽裝置、數據管理方法、數據編輯方法以及數據閱覽方法
- 數據發送和數據接收設備、數據發送和數據接收方法
- 數據發送裝置、數據接收裝置、數據收發系統、數據發送方法、數據接收方法和數據收發方法
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
- 數據發送方法、數據再現方法、數據發送裝置及數據再現裝置
