[發明專利]大數據存儲處理方法和裝置

有效

• 申請號: 202110013371.3
• 申請日: 2021-01-06
• 公開（公告）號: CN112732187B
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 章偉
• 申請（專利權）人: 廣州鼎甲計算機科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06N20/00
• 代理公司: 泉州市興博知識產權代理事務所(普通合伙) 35238
• 代理人: 易敏

本申請公開了大數據存儲處理方法和裝置，該方法包括：將獲取到的數據分成M份；分別使用所述M份數據中的每一份數據進行訓練，并記錄該份數據收斂的時間；根據收斂時間從長到短的順序對所述M份數據進行排列；丟棄前N份數據，并將剩余數據進行保存。通過本申請解決了靠人工篩選低質量訓練數據所導致的問題，在一定程度上提高了數據篩選的效率。

技術領域

本申請涉及數據處理領域，具體而言，涉及一種大數據存儲處理方法和裝置。

背景技術

人工智能(AI)系統通過實例來學習，它們擁有的高質量實例數據越多，就會學得越好。低質量的訓練數據可能會生成不可靠的系統。

目前，大量訓練數據的刪選基本上靠人工進行，這是工作量異常巨大的工作，訓練數據無法及時供給會導致拖慢機器模型的訓練，并需要消耗大量的人力。

發明內容

本申請提供一種大數據存儲處理方法和裝置，以解決相關技術中靠人工篩選低質量訓練數據所導致的問題。

根據本發明的一個方面，提供了一種大數據存儲處理方法，包括：將獲取到的數據分成M份，其中，M為自然數，每份的數據量相同，所述數據中的每一條數據均是作為訓練數據使用，所述每一條數據均包括輸入數據和對應的輸出數據，所述訓練數據用于機器學習模型的訓練；分別使用所述M份數據中的每一份數據進行訓練，并記錄該份數據收斂的時間；根據收斂時間從長到短的順序對所述M份數據進行排列；丟棄前N份數據，并將剩余數據進行保存，其中，N為小于M的自然數。

進一步地，所述M大于等10，并且小于等20。

進一步地，所述M為16。

進一步地，所述N大于所述M的一半。

根據本發明的另一方面，還提供了一種大數據存儲處理裝置，包括：劃分模塊，用于將獲取到的數據分成M份，其中，M為自然數，每份的數據量相同，所述數據中的每一條數據均是作為訓練數據使用，所述每一條數據均包括輸入數據和對應的輸出數據，所述訓練數據用于機器學習模型的訓練；訓練模塊，用于分別使用所述M份數據中的每一份數據進行訓練，并記錄該份數據收斂的時間；排列模塊，用于根據收斂時間從長到短的順序對所述M份數據進行排列；保存模塊，用于丟棄前N份數據，并將剩余數據進行保存，其中，N為小于M的自然數。

進一步地，所述M大于等10，并且小于等20。

進一步地，所述M為16。

進一步地，所述N大于所述M的一半。

根據本申請的另一個方面，還提供了一種存儲器，用于存儲軟件，其中，所述軟件用于執行上述的方法。

根據本申請的另一個方面，還提供一種處理器，用于執行軟件，其中，所述軟件用于執行上述的方法。

本申請采用以下步驟：將獲取到的數據分成M份，其中，M為自然數，每份的數據量相同，所述數據中的每一條數據均是作為訓練數據使用，所述每一條數據均包括輸入數據和對應的輸出數據，所述訓練數據用于機器學習模型的訓練；分別使用所述M份數據中的每一份數據進行訓練，并記錄該份數據收斂的時間；根據收斂時間從長到短的順序對所述M份數據進行排列；丟棄前N份數據，并將剩余數據進行保存，其中，N為小于M的自然數。通過本申請解決了靠人工篩選低質量訓練數據所導致的問題，在一定程度上提高了數據篩選的效率。

附圖說明

構成本申請的一部分的附圖用來提供對本申請的進一步理解，本申請的示意性實施例及其說明用于解釋本申請，并不構成對本申請的不當限定。在附圖中：

圖1是根據本申請實施例提供的大數據存儲處理方法的流程圖。

具體實施方式