[發(fā)明專利]壓縮神經(jīng)網(wǎng)絡(luò)的半導(dǎo)體裝置及壓縮神經(jīng)網(wǎng)絡(luò)的方法

在審

• 申請?zhí)枺?/td>: 202011281185.X
• 申請日: 2020-11-16
• 公開（公告）號: CN113139647A
• 公開（公告）日: 2021-07-20
• 發(fā)明（設(shè)計）人: 金慧智;慶宗旻
• 申請（專利權(quán)）人: 愛思開海力士有限公司;韓國科學(xué)技術(shù)院
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司 11002
• 代理人: 李艷兵;李青

本公開涉及一種半導(dǎo)體裝置。該半導(dǎo)體裝置包括：壓縮電路，被配置成通過根據(jù)多個壓縮率的每個壓縮率壓縮神經(jīng)網(wǎng)絡(luò)來生成壓縮后的神經(jīng)網(wǎng)絡(luò)；性能測量電路，被配置成根據(jù)由推斷裝置對壓縮后的神經(jīng)網(wǎng)絡(luò)執(zhí)行的推斷操作來測量壓縮后的神經(jīng)網(wǎng)絡(luò)的性能；以及關(guān)系計算電路，被配置成計算多個壓縮率和與多個壓縮率相對應(yīng)的性能之間的關(guān)系函數(shù)，當(dāng)目標(biāo)性能被確定時，參考關(guān)系函數(shù)來確定目標(biāo)壓縮率，并且向壓縮電路提供目標(biāo)壓縮率，其中，壓縮電路根據(jù)目標(biāo)壓縮率來壓縮神經(jīng)網(wǎng)絡(luò)。

相關(guān)申請的交叉引用

本申請要求于2020年1月16日向韓國知識產(chǎn)權(quán)局提交的申請?zhí)枮?0-2020-0006136的韓國專利申請的優(yōu)先權(quán)，其通過引用整體并入本文。

技術(shù)領(lǐng)域

各個實施例總體涉及一種壓縮神經(jīng)網(wǎng)絡(luò)的半導(dǎo)體裝置以及壓縮神經(jīng)網(wǎng)絡(luò)的方法。

背景技術(shù)

基于神經(jīng)網(wǎng)絡(luò)的識別技術(shù)顯示出相對較高的識別性能。

然而，由于過多的存儲器使用和處理器計算，它不適合在沒有足夠資源的移動裝置中使用。

例如，當(dāng)裝置中的資源不足時，執(zhí)行用于神經(jīng)網(wǎng)絡(luò)處理的并行處理操作受到限制，因此，裝置的計算時間顯著增加。

在壓縮包括多個層的神經(jīng)網(wǎng)絡(luò)的情況下，在相關(guān)技術(shù)中針對多個層的每個層執(zhí)行壓縮。因此，存在壓縮時間過度增加的問題。

通常，因為基于諸如每秒浮點運算次數(shù)(FLOPS)的理論指標(biāo)執(zhí)行壓縮，所以難以知道在神經(jīng)網(wǎng)絡(luò)壓縮之后是否可以實現(xiàn)目標(biāo)性能。

發(fā)明內(nèi)容

根據(jù)本公開的實施例，一種半導(dǎo)體裝置包括：壓縮電路，被配置為通過根據(jù)多個壓縮率(compression ratios)的每個壓縮率壓縮神經(jīng)網(wǎng)絡(luò)來生成壓縮后的神經(jīng)網(wǎng)絡(luò)；性能測量電路，被配置為根據(jù)由推斷裝置對壓縮后的神經(jīng)網(wǎng)絡(luò)執(zhí)行的推斷操作來測量壓縮后的神經(jīng)網(wǎng)絡(luò)的性能；關(guān)系計算電路，被配置為計算多個壓縮率和與多個壓縮率相對應(yīng)的性能之間的關(guān)系函數(shù)，當(dāng)目標(biāo)性能被確定時，參考關(guān)系函數(shù)來確定目標(biāo)壓縮率，并且向壓縮電路提供目標(biāo)壓縮率，其中，壓縮電路根據(jù)目標(biāo)壓縮率來壓縮神經(jīng)網(wǎng)絡(luò)。

根據(jù)本公開的實施例，一種壓縮神經(jīng)網(wǎng)絡(luò)的方法可以包括：根據(jù)多個壓縮率的每個壓縮率來壓縮神經(jīng)網(wǎng)絡(luò)以輸出壓縮后的神經(jīng)網(wǎng)絡(luò)；基于對壓縮后的神經(jīng)網(wǎng)絡(luò)執(zhí)行的推斷操作，測量與多個壓縮率的每個壓縮率相對應(yīng)的延遲(latency)；計算多個壓縮率和分別與多個壓縮率相對應(yīng)的多個延遲之間的關(guān)系函數(shù)；使用關(guān)系函數(shù)來確定與目標(biāo)延遲相對應(yīng)的的目標(biāo)壓縮率；并且根據(jù)目標(biāo)壓縮率來壓縮神經(jīng)網(wǎng)絡(luò)。

附圖說明

附圖以及下面的詳細(xì)描述并入說明書中并形成說明書的一部分，并且用于進(jìn)一步示出各個實施例，并且對這些實施例的各種原理和優(yōu)點進(jìn)行說明，其中相同的附圖標(biāo)記在分開的視圖中指代相同或功能相似的元件。

圖1示出根據(jù)本公開的實施例的半導(dǎo)體裝置。

圖2是示出根據(jù)本公開的實施例的壓縮電路的操作的流程圖。

圖3示出根據(jù)本公開的實施例的關(guān)系表。

圖4是示出根據(jù)本公開的實施例的關(guān)系計算電路的操作的示圖。

圖5是示出根據(jù)本公開的實施例的半導(dǎo)體裝置的操作的流程圖。

具體實施方式

以下詳細(xì)描述在描述與本公開一致的說明性實施例時參照了附圖。提供實施例是為了說明的目的，并且不是窮舉的。沒有明確示出或描述的另外的實施例是可能的。進(jìn)一步地，可以在本教導(dǎo)的范圍內(nèi)對所呈現(xiàn)的實施例進(jìn)行修改。詳細(xì)描述并不意為限制本公開。相反，本公開的范圍根據(jù)權(quán)利要求及其等同方案來限定。而且，在整個說明書中，對“實施例”等的引用不一定僅針對一個實施例，并且對任何這種短語的不同引用不一定針對相同的實施例。

圖1示出根據(jù)本公開的實施例的半導(dǎo)體裝置1。