[發明專利]一種基于人腦記憶機制的深度神經網絡訓練數據采樣方法

有效

• 申請號: 202011307776.X
• 申請日: 2020-11-20
• 公開（公告）號: CN112418422B
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 何水兵;胡雙;孫賢和;銀燕龍;陳剛;任祖杰
• 申請（專利權）人: 之江實驗室;浙江大學
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 楊小凡

1.一種基于人腦記憶機制的深度神經網絡訓練數據采樣方法，其特征在于包括如下步驟：

S1，在初始訓練周期，設置下一輪要訓練的序列為整個訓練集；

S2，將訓練序列中包含的數據根據批大小batch_size打包為多個批batch，放入神經網絡進行訓練，并獲得樣本的訓練損失值loss；

S3，根據損失值loss將樣本序列劃分為困難Hard、中間Middle、簡單Easy三種類型，劃分采用如下公式：

其中N代表訓練集樣本的總數量，γ代表松弛因子，用于調整Hard樣本的數量，ε代表極小值；

S4，整個訓練序列的樣本都增加一個基本時鐘，中間和簡單的樣本需要根據倒計時等待函數分別計算樣本的額外增加的時鐘數；

S5，整個訓練集的樣本都減少一個時鐘數，將時鐘數為0的樣本放入下一輪將要訓練的序列之中；

S6，重復步驟S 2-S 5，直到神經網絡收斂或者訓練周期數結束。

2.如權利要求1所述的一種基于人腦記憶機制的深度神經網絡訓練數據采樣方法，其特征在于所述步驟S4中的倒計時等待函數采用步長回退等待，每隔固定的周期數線性增加樣本的訓練等待時間，公式如下：

counts＝bcount+1*(epoch/interval)

其中，counts代表通過計算得到的每類樣本應該等待的時間，bcount代表不同等級樣本等待的基數量，epoch代表訓練周期數，即輪數，interval代表間隔多少輪后再次進行counts增加，即時鐘數更新間隔。

3.如權利要求1所述的一種基于人腦記憶機制的深度神經網絡訓練數據采樣方法，其特征在于所述步驟S4中的倒計時等待函數采用指數回退等待，每隔固定的周期數指數增加樣本的訓練等待時間，公式如下：

其中，min()代表取最小值函數，取括號內的左右兩邊值中的較小值，increasing rate代表指數增長率底數，largest count代表等待的時間上限，epoch代表訓練周期數，即輪數，interval代表間隔多少輪后再次進行counts增加，即時鐘數更新間隔。

4.如權利要求1所述的一種基于人腦記憶機制的深度神經網絡訓練數據采樣方法，其特征在于所述步驟S4中的倒計時等待函數采用歷史滑動窗口，為每個樣本維護一個歷史類別值，根據樣本歷史類型和連續次數來確定樣本等待周期數。

5.如權利要求4所述的一種基于人腦記憶機制的深度神經網絡訓練數據采樣方法，其特征在于采用所述歷史滑動窗口確定樣本等待周期數的方法如下：如果一個樣本在連續的3個周期都為Middle類別，則在bcount的基礎上增加m₁個等待周期，如果連續4個周期都為Middle類別，則增加m₁+1個等待周期，以此類推，直到連續的周期數等于滑動窗口長度；如果一個樣本在連續的2個周期都為Easy類別，則在bcount的基礎上增加m₂個等待周期，如果連續3個周期都為Easy類別，則增加m₂+1個等待周期，以此類推，直到連續的周期數等于滑動窗口長度，將該Easy類別樣本從訓練集中移除，默認情況下m₁＝m₂＝2。

6.如權利要求1所述的一種基于人腦記憶機制的深度神經網絡訓練數據采樣方法，其特征在于所述步驟S1的內容，將訓練集中所有的樣本進行預處理操作，操作包括數據混洗shuffle和數據增強。

7.如權利要求1所述的一種基于人腦記憶機制的深度神經網絡訓練數據采樣方法，其特征在于所述步驟S2的內容，在神經網絡進行前向傳播時，將每個樣本的損失值loss記錄在歷史損失列表中，將歷史損失列表、當前訓練周期數作為參數傳入深度學習框架自定義的采樣器Sampler中，采樣器Sampler預先定義好采樣的超參數后，根據歷史損失列表中的損失值loss對樣本進行排序，再對樣本劃分等級。