[發明專利]一種數據處理方法、裝置及數據深度學習系統

有效

• 申請號: 201811235194.8
• 申請日: 2018-10-23
• 公開（公告）號: CN111091191B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 郭勐
• 申請（專利權）人: 中國移動通信有限公司研究院;中國移動通信集團有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/084;G06N3/045
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 許靜;安利霞

本發明提供了一種數據處理方法、裝置及數據深度學習系統，其方法包括：獲取采樣樣本的樣本類別；按照預設代價函數，計算網絡輸出值和樣本期望值之間的誤差信息；其中，網絡輸出值是采樣樣本的樣本數據經深度學習處理后的值，樣本期望值是與樣本類別對應的；根據樣本類別和誤差信息，計算代價函數的類別權重。本發明支持隨機樣本采樣，提高處理效率，可以實現不均衡類別的類別權重的自適應，降低專業性要求。

技術領域

本發明涉及通信技術領域，尤其涉及一種數據處理方法、裝置及數據深度學習系統。

背景技術

在深度學習中，樣本不均衡是指不同類別的數據量差別較大，利用不均衡樣本訓練出來的模型泛化能力差并且容易發生過擬合。通常對不均衡數據的處理方法有對數據重采樣，對數量多的樣本進行降采樣，或者對數量少的樣本進行過采樣以增加數據，這樣不僅需要花費時間收集和整理數據，而且往往因為數據的低頻特性難以執行。另外對不均衡數據的處理方法有對代價函數進行加權，由于權重的搜索空間大，同時受制于技術人員的經驗水平，往往耗費時間而無法得到最優解。這些方法都需要技術人員花費時間和精力去完成，而且對技術人員有相當高的水平要求。

發明內容

本發明提供一種數據處理方法、裝置及數據深度學習系統，解決了不均衡數據處理過程中處理效率低、專業要求高的問題。

本發明的實施例提供了一種數據處理方法，應用于數據深度學習系統，其中，數據處理方法包括：

獲取采樣樣本的樣本類別；

按照代價函數，計算網絡輸出值和樣本期望值之間的誤差信息；其中，網絡輸出值是采樣樣本的樣本數據經深度學習處理后的值，樣本期望值是與樣本類別對應的；

根據樣本類別和誤差信息，計算代價函數的類別權重。

可選地，根據樣本類別和誤差信息，計算代價函數的類別權重的步驟，包括：

根據樣本類別和誤差信息，計算相同樣本類別的采樣樣本的誤差值；

根據樣本類別和誤差值，計算不同樣本類別的采樣樣本的誤差反比；

根據誤差反比，計算代價函數的類別權重。

可選地，根據樣本類別和誤差信息，計算相同樣本類別的采樣樣本的誤差值的步驟，包括：

根據樣本類別和誤差信息，計算相同樣本類別的多個采樣樣本的平均誤差值；平均誤差值為多個采樣樣本的算術平均誤差，或者，平均誤差值為多個采樣樣本的加權平均誤差。

可選地，根據樣本類別和誤差信息，計算代價函數的類別權重的步驟，包括：

當需要更新數據深度學習系統的網絡參數時，根據樣本類別和誤差信息，計算代價函數的類別權重。

可選地，網絡參數包括：深度學習神經網絡層的參數、誤差信息的均值和代價函數的類別權重中的至少一項。

可選地，樣本類別不同所對應的樣本期望值不同。

可選地，獲取采樣樣本的樣本類別的步驟，包括：

逐次獲取一個樣本批次的采樣樣本，一個樣本批次包括預設數目的采樣樣本，一個采樣樣本對應一個樣本類別及一個樣本數據。

本發明的實施例還提供了一種數據處理裝置，應用于數據深度學習系統，該數據處理裝置包括：

獲取模塊，用于獲取采樣樣本的樣本類別；

第一計算模塊，用于按照代價函數，計算網絡輸出值和樣本期望值之間的誤差信息；其中，網絡輸出值是采樣樣本的樣本數據經深度學習處理后的值，樣本期望值是與樣本類別對應的；

第二計算模塊，用于根據樣本類別和誤差信息，計算代價函數的類別權重。