[發(fā)明專利]訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)模型的計(jì)算裝置和方法以及存儲(chǔ)器系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010380930.X
• 申請(qǐng)日: 2020-05-08
• 公開（公告）號(hào): CN111914991A
• 公開（公告）日: 2020-11-10
• 發(fā)明（設(shè)計(jì)）人: 金炳秀;高祥修;金冏榮;金哉坤;河相赫
• 申請(qǐng)（專利權(quán)）人: 三星電子株式會(huì)社
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08;G06N3/063
• 代理公司: 北京銘碩知識(shí)產(chǎn)權(quán)代理有限公司 11286
• 代理人: 史泉;張川緒

公開一種訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)模型的計(jì)算裝置和方法以及存儲(chǔ)器系統(tǒng)。所述用于訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)模型的計(jì)算裝置包括：模型分析器，被配置為接收第一人工神經(jīng)網(wǎng)絡(luò)模型并將第一人工神經(jīng)網(wǎng)絡(luò)模型劃分成多個(gè)層；訓(xùn)練邏輯，被配置為：計(jì)算隨著第一人工神經(jīng)網(wǎng)絡(luò)模型被修剪而變化的第一靈敏度數(shù)據(jù)，基于第一靈敏度數(shù)據(jù)計(jì)算與目標(biāo)修剪率對(duì)應(yīng)的目標(biāo)靈敏度，計(jì)算隨著所述多個(gè)層中的每個(gè)被修剪而變化的第二靈敏度數(shù)據(jù)，并基于第二靈敏度數(shù)據(jù)輸出所述多個(gè)層中的每個(gè)的最佳修剪率，最佳修剪率對(duì)應(yīng)于目標(biāo)修剪率；以及模型更新器，被配置為：基于最佳修剪率修剪第一人工神經(jīng)網(wǎng)絡(luò)模型以獲得第二人工神經(jīng)網(wǎng)絡(luò)模型，并輸出第二人工神經(jīng)網(wǎng)絡(luò)模型。

本申請(qǐng)要求于2019年5月8日提交到韓國(guó)知識(shí)產(chǎn)權(quán)局的第10-2019-0053888號(hào)韓國(guó)專利申請(qǐng)的權(quán)益，所述韓國(guó)專利申請(qǐng)的公開通過(guò)引用全部包含于此。

技術(shù)領(lǐng)域

發(fā)明構(gòu)思涉及用于通過(guò)基于人工神經(jīng)網(wǎng)絡(luò)模型的靈敏度調(diào)整修剪率來(lái)訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)模型的計(jì)算裝置、訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)模型的方法以及用于存儲(chǔ)人工神經(jīng)網(wǎng)絡(luò)模型的存儲(chǔ)器系統(tǒng)。

背景技術(shù)

人工神經(jīng)網(wǎng)絡(luò)(ANN)表示根據(jù)生物大腦進(jìn)行建模的計(jì)算架構(gòu)。可基于ANN實(shí)現(xiàn)深度學(xué)習(xí)或機(jī)器學(xué)習(xí)。作為ANN的示例的深度神經(jīng)網(wǎng)絡(luò)或深度學(xué)習(xí)可具有包括多個(gè)層的多層結(jié)構(gòu)。近來(lái)，使用ANN執(zhí)行的操作的數(shù)量顯著增加，因此，用于訓(xùn)練ANN的數(shù)據(jù)量已增加，并且出現(xiàn)了以更少的數(shù)據(jù)訓(xùn)練ANN的需求。

發(fā)明內(nèi)容

發(fā)明構(gòu)思提供了一種計(jì)算裝置和存儲(chǔ)器系統(tǒng)，該計(jì)算裝置包括通過(guò)考慮人工神經(jīng)網(wǎng)絡(luò)的每個(gè)層的靈敏度使用少量的數(shù)據(jù)來(lái)準(zhǔn)確地訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)模型的方法，靈敏度根據(jù)修剪率而變化。

根據(jù)發(fā)明構(gòu)思的一個(gè)方面，提供了一種用于訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)模型的計(jì)算裝置，所述計(jì)算裝置包括：模型分析器，被配置為接收第一人工神經(jīng)網(wǎng)絡(luò)模型并將第一人工神經(jīng)網(wǎng)絡(luò)模型劃分成多個(gè)層；訓(xùn)練邏輯，被配置為：計(jì)算隨著人工神經(jīng)網(wǎng)絡(luò)模型被修剪而變化的第一靈敏度數(shù)據(jù)，基于第一靈敏度數(shù)據(jù)計(jì)算與目標(biāo)修剪率對(duì)應(yīng)的目標(biāo)靈敏度，計(jì)算隨著第一人工神經(jīng)網(wǎng)絡(luò)模型的所述多個(gè)層中的每個(gè)被修剪而變化的第二靈敏度數(shù)據(jù)，并基于第二靈敏度數(shù)據(jù)輸出所述多個(gè)層中的每個(gè)的最佳修剪率，最佳修剪率對(duì)應(yīng)于目標(biāo)修剪率；以及模型更新器，被配置為：基于最佳修剪率修剪第一人工神經(jīng)網(wǎng)絡(luò)模型以獲得第二人工神經(jīng)網(wǎng)絡(luò)模型，并輸出第二人工神經(jīng)網(wǎng)絡(luò)模型。

根據(jù)發(fā)明構(gòu)思的另一方面，提供了一種用于訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)模型的計(jì)算裝置，所述計(jì)算裝置包括：模型分析器，被配置為接收第一人工神經(jīng)網(wǎng)絡(luò)模型并將第一人工神經(jīng)網(wǎng)絡(luò)模型劃分成多個(gè)層；訓(xùn)練邏輯，被配置為：接收目標(biāo)修剪率，計(jì)算第一人工神經(jīng)網(wǎng)絡(luò)模型的目標(biāo)靈敏度，并輸出所述多個(gè)層中的每個(gè)的最佳修剪率，目標(biāo)靈敏度對(duì)應(yīng)于目標(biāo)修剪率，最佳修剪率對(duì)應(yīng)于目標(biāo)靈敏度；以及模型更新器，被配置為：基于最佳修剪率修剪第一人工神經(jīng)網(wǎng)絡(luò)模型以獲得第二人工神經(jīng)網(wǎng)絡(luò)模型，并輸出第二人工神經(jīng)網(wǎng)絡(luò)模型。

根據(jù)發(fā)明構(gòu)思的另一方面，提供了一種訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)模型的方法，所述方法包括：接收目標(biāo)修剪率；修剪第一人工神經(jīng)網(wǎng)絡(luò)模型；計(jì)算根據(jù)在第一人工神經(jīng)網(wǎng)絡(luò)模型被修剪時(shí)的第一人工神經(jīng)網(wǎng)絡(luò)模型的修剪率而變化的第一靈敏度數(shù)據(jù)；從第一靈敏度數(shù)據(jù)計(jì)算與目標(biāo)修剪率對(duì)應(yīng)的目標(biāo)靈敏度；將第一人工神經(jīng)網(wǎng)絡(luò)模型劃分成多個(gè)層；計(jì)算隨著所述多個(gè)層中的每個(gè)被修剪而變化的第二靈敏度數(shù)據(jù)；基于第二靈敏度數(shù)據(jù)，計(jì)算與目標(biāo)靈敏度對(duì)應(yīng)的所述多個(gè)層中的每個(gè)的最佳修剪率；基于最佳修剪率修剪第一人工神經(jīng)網(wǎng)絡(luò)模型，以獲得第二人工神經(jīng)網(wǎng)絡(luò)模型；以及輸出第二人工神經(jīng)網(wǎng)絡(luò)模型。