[發(fā)明專利]一種基于人腦記憶機(jī)制的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)采樣方法

有效

• 申請?zhí)枺?/td>: 202011307776.X
• 申請日: 2020-11-20
• 公開（公告）號(hào): CN112418422B
• 公開（公告）日: 2022-05-27
• 發(fā)明（設(shè)計(jì)）人: 何水兵;胡雙;孫賢和;銀燕龍;陳剛;任祖杰
• 申請（專利權(quán)）人: 之江實(shí)驗(yàn)室;浙江大學(xué)
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08
• 代理公司: 杭州浙科專利事務(wù)所(普通合伙) 33213
• 代理人: 楊小凡

本發(fā)明公開了一種基于人腦記憶機(jī)制的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)采樣方法，包括如下步驟：S1，在初始訓(xùn)練周期，設(shè)置下一輪要訓(xùn)練的序列為整個(gè)訓(xùn)練集；S2，將訓(xùn)練序列中包含的數(shù)據(jù)根據(jù)批大小打包為多個(gè)批，放入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并獲得樣本的訓(xùn)練損失值；S3，根據(jù)損失值將樣本序列劃分為困難、中間、簡單三種類型；S4，整個(gè)訓(xùn)練序列的樣本都增加一個(gè)基本時(shí)鐘，中間和簡單的樣本需要根據(jù)倒計(jì)時(shí)等待函數(shù)分別計(jì)算樣本的額外增加的時(shí)鐘數(shù)；S5，整個(gè)訓(xùn)練集的樣本都減少一個(gè)時(shí)鐘數(shù)，將時(shí)鐘數(shù)為0的樣本放入下一輪將要訓(xùn)練的序列之中；S6，重復(fù)步驟2?5，直到神經(jīng)網(wǎng)絡(luò)收斂或者訓(xùn)練周期數(shù)結(jié)束。

技術(shù)領(lǐng)域

本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，尤其是涉及一種深度神經(jīng)網(wǎng)絡(luò)重要性采樣的方法及框架。

背景技術(shù)

近年來隨著深度學(xué)習(xí)的發(fā)展，深度神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺、語音識(shí)別、自然語言處理領(lǐng)域都取得了重大的成功。

訓(xùn)練一個(gè)高精度的深度神經(jīng)網(wǎng)絡(luò)通常需要消耗大量的時(shí)間以及計(jì)算機(jī)資源。標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程是無差別的對(duì)待所有樣本。但是這種方式忽略樣本之間存在差異性的事實(shí)。實(shí)際上，并不是所有的樣本對(duì)于梯度下降具有相同的貢獻(xiàn)，即使是一個(gè)相同的樣本在整個(gè)訓(xùn)練的不同階段對(duì)于神經(jīng)網(wǎng)絡(luò)梯度下降的貢獻(xiàn)也是不一樣的。因此在訓(xùn)練過程中同等對(duì)待所有的樣本就可能造成系統(tǒng)CPU資源、內(nèi)存以及IO資源的浪費(fèi)，同時(shí)了喪失了減少訓(xùn)練時(shí)間，加速訓(xùn)練的機(jī)會(huì)。

因此，在訓(xùn)練過程中通過跳過一些不重要樣本的訓(xùn)練來加速整個(gè)訓(xùn)練過程。但是在進(jìn)行樣本的重要性采樣的時(shí)候需要解決的兩個(gè)問題是1)如何評(píng)估樣本的重要性；2)在不同訓(xùn)練階段中，應(yīng)當(dāng)選擇多少個(gè)重要的樣本。通過樣本的梯度計(jì)算可以獲得一個(gè)最優(yōu)的取樣分布，但是目前深度學(xué)習(xí)的框架(例如pytorch或者tensorflow)是無法快速求取單個(gè)樣本的梯度，因此這種方式是無法應(yīng)用在實(shí)踐中的。另一方面，存在運(yùn)用損失、自定義的梯度上限來代替或者近似估計(jì)樣本梯度，以及另訓(xùn)練一個(gè)輔助神經(jīng)網(wǎng)絡(luò)來預(yù)測樣本的重要性。但是訓(xùn)練輔助網(wǎng)絡(luò)需要引入額外的計(jì)算資源的開銷，梯度上限的計(jì)算相比損失更加復(fù)雜和耗時(shí)。同時(shí)目前使用損失來評(píng)估樣本的重要性的方式只在小數(shù)據(jù)及圖像分類任務(wù)上進(jìn)行實(shí)驗(yàn)，算法應(yīng)用范圍存在一定的局限性。

發(fā)明內(nèi)容

為解決現(xiàn)有技術(shù)的不足，實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練階段進(jìn)行重要樣本采樣時(shí)，降低計(jì)算復(fù)雜，拓寬適用范圍，提高加速效率的目的，本發(fā)明采用如下的技術(shù)方案：

一種基于人腦記憶機(jī)制的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)采樣方法，采用的記憶性采樣方式運(yùn)用了記憶力的兩個(gè)特點(diǎn)：

1、記憶力重點(diǎn)。在整個(gè)訓(xùn)練過程中，神經(jīng)網(wǎng)絡(luò)應(yīng)當(dāng)集中注意力在經(jīng)常犯錯(cuò)的樣本而不是判斷正確或者容易判斷的樣本上。

2、記憶力間隔。為了提升記憶數(shù)據(jù)的有效性，通過樣本的難易程度調(diào)整樣本訓(xùn)練的周期間隔。

如圖1所示，采樣階段，所有樣本通過本發(fā)明提出的MSampler(Memoized Sampler)方式單獨(dú)取樣，也可以與其他Sampler(非MSampler)串行使用，即其他Sampler過濾后的樣本作為MSampler的輸入，也可以與其他Sampler并行使用，將兩種Sampler過濾出的樣本求交集作為最后每個(gè)epoch(訓(xùn)練周期)的輸入數(shù)據(jù)。

如圖2、3所示，采樣方法的步驟如下：

1、在初始訓(xùn)練周期，設(shè)置下一輪要訓(xùn)練的序列(running_list)為整個(gè)訓(xùn)練集(total_list)。

2、將訓(xùn)練序列(running_list)中包含的數(shù)據(jù)根據(jù)batch_size(批大小)打包為多個(gè)batch(批)，放入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并獲得樣本的訓(xùn)練損失值。

3、根據(jù)損失值loss將樣本序列劃分為困難(Hard)、中間(Middle)、簡單(Easy)三種類型。劃分的規(guī)則按照如下等式：