[發(fā)明專利]用稀疏數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的系統(tǒng)和方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810589639.6
• 申請(qǐng)日: 2018-06-08
• 公開(kāi)（公告）號(hào): CN109034385A
• 公開(kāi)（公告）日: 2018-12-18
• 發(fā)明（設(shè)計(jì)）人: C·J·蒙克貝里;J·N·T·黑塞爾格倫;J·T·萊赫蒂寧;T·O·艾拉
• 申請(qǐng)（專利權(quán)）人: 輝達(dá)公司
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08
• 代理公司: 北京市磐華律師事務(wù)所 11336
• 代理人: 高偉;婁曉丹

公開(kāi)了用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的方法、計(jì)算機(jī)可讀介質(zhì)和系統(tǒng)。所述方法包括步驟：從包括輸入向量和稀疏目標(biāo)向量的一組訓(xùn)練數(shù)據(jù)中選擇輸入向量，其中每個(gè)稀疏目標(biāo)向量包括對(duì)應(yīng)于神經(jīng)網(wǎng)絡(luò)模型的輸出向量?jī)?nèi)的樣本子集的目標(biāo)數(shù)據(jù)。所述方法還包括步驟：通過(guò)神經(jīng)網(wǎng)絡(luò)模型處理輸入向量以針對(duì)輸出向量?jī)?nèi)的樣本產(chǎn)生輸出數(shù)據(jù)，以及調(diào)整神經(jīng)網(wǎng)絡(luò)模型的參數(shù)值以針對(duì)樣本子集減小輸出向量與稀疏目標(biāo)向量之間的差。

優(yōu)先權(quán)要求

本申請(qǐng)要求于2017年6月12日提交的題為“用稀疏數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)(TRAININGNEURAL NETWORKS WITH SPARSE DATA)”的62/518,435號(hào)美國(guó)臨時(shí)申請(qǐng)(代理人案卷號(hào)NVIDP1167+/17-HE-0122-US01)的權(quán)益，其全部?jī)?nèi)容通過(guò)引用并入本文。

技術(shù)領(lǐng)域

本發(fā)明涉及訓(xùn)練神經(jīng)網(wǎng)絡(luò)，并且更具體地涉及使用稀疏數(shù)據(jù)來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

背景技術(shù)

通常使用反向傳播來(lái)訓(xùn)練用于圖像處理的神經(jīng)網(wǎng)絡(luò)，以將神經(jīng)網(wǎng)絡(luò)模型的輸出(即，預(yù)測(cè))與目標(biāo)圖像進(jìn)行匹配。例如，神經(jīng)網(wǎng)絡(luò)模型可以被訓(xùn)練成升檔(upscale)圖像，從低分辨率圖像生成高分辨率圖像，或被訓(xùn)練成去噪圖像，從有噪聲圖像產(chǎn)生干凈的輸出圖像。假設(shè)可微函數(shù)g被描述為具有可訓(xùn)練參數(shù)集Θ的神經(jīng)網(wǎng)絡(luò)，其將輸入向量x＝{x₁,x₂,...,x_n}映射到輸出向量

神經(jīng)網(wǎng)絡(luò)通過(guò)最小化損失函數(shù)來(lái)訓(xùn)練，

量化目標(biāo)y＝{y₁,y₂,...,y_m}與神經(jīng)網(wǎng)絡(luò)輸出之間的誤差。

對(duì)于圖像處理網(wǎng)絡(luò)來(lái)說(shuō)，L₂標(biāo)準(zhǔn)經(jīng)常被用作損失函數(shù)。生成和存儲(chǔ)訓(xùn)練所需的輸入和目標(biāo)對(duì)(x，y)的大數(shù)據(jù)集常常是一個(gè)重大挑戰(zhàn)。例如，圖像處理網(wǎng)絡(luò)通常用成千上百萬(wàn)圖像訓(xùn)練圖像處理網(wǎng)絡(luò)。在離線渲染場(chǎng)景下用路徑追蹤圖像訓(xùn)練時(shí)，經(jīng)常花費(fèi)數(shù)周來(lái)生成參考圖像和許多兆兆字節(jié)的數(shù)據(jù)存儲(chǔ)。計(jì)算精確的目標(biāo)圖像是耗時(shí)的并且需要很大的數(shù)據(jù)存儲(chǔ)和傳輸能力。具有解決這些問(wèn)題和/或與現(xiàn)有技術(shù)相關(guān)的其他問(wèn)題的需求。

發(fā)明內(nèi)容

公開(kāi)了用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的方法、計(jì)算機(jī)可讀介質(zhì)和系統(tǒng)。該方法包括從包括輸入向量和稀疏目標(biāo)向量的訓(xùn)練數(shù)據(jù)集中選擇輸入向量的步驟，其中每個(gè)稀疏目標(biāo)向量包括對(duì)應(yīng)于神經(jīng)網(wǎng)絡(luò)模型的輸出向量?jī)?nèi)的樣本子集的目標(biāo)數(shù)據(jù)。該方法還包括通過(guò)神經(jīng)網(wǎng)絡(luò)模型處理輸入向量以針對(duì)輸出向量?jī)?nèi)的樣本產(chǎn)生輸出數(shù)據(jù)以及調(diào)整神經(jīng)網(wǎng)絡(luò)模型的參數(shù)值以針對(duì)樣本子集減小輸出向量與稀疏目標(biāo)向量之間的差的步驟。

附圖說(shuō)明

圖1A示出了根據(jù)一個(gè)實(shí)施例的用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法的流程圖；

圖1B示出了使用稀疏輸入數(shù)據(jù)和地面實(shí)況訓(xùn)練目標(biāo)的現(xiàn)有技術(shù)神經(jīng)網(wǎng)絡(luò)訓(xùn)練的示意圖；

圖1C示出了根據(jù)一個(gè)實(shí)施例的使用稀疏輸入數(shù)據(jù)和稀疏地面實(shí)況訓(xùn)練目標(biāo)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練的示意圖；

圖1D示出了根據(jù)一個(gè)實(shí)施例的用于使用稀疏目標(biāo)向量來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的系統(tǒng)的框圖；

圖1E示出了根據(jù)一個(gè)實(shí)施例的使用稀疏輸入數(shù)據(jù)和稀疏地面實(shí)況訓(xùn)練目標(biāo)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練的另一個(gè)示意圖；

圖1F示出了根據(jù)一個(gè)實(shí)施例的用于使用稀疏輸入數(shù)據(jù)和稀疏地面實(shí)況訓(xùn)練目標(biāo)來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法的流程圖；

圖2A示出了根據(jù)一個(gè)實(shí)施例的用于使用稀疏目標(biāo)向量來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的系統(tǒng)的框圖；

圖2B示出了用于使用輸入數(shù)據(jù)和稀疏地面實(shí)況訓(xùn)練目標(biāo)來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法的另一個(gè)流程圖；