[發(fā)明專利]解壓縮設(shè)備及其控制方法

在審

• 申請?zhí)枺?/td>: 202010435215.1
• 申請日: 2020-05-21
• 公開（公告）號: CN111985632A
• 公開（公告）日: 2020-11-24
• 發(fā)明（設(shè)計(jì)）人: 李桐洙;權(quán)世重;金炳旭;帕里查·卡普爾;樸培盛
• 申請（專利權(quán)）人: 三星電子株式會社
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08;G06N3/04
• 代理公司: 北京英賽嘉華知識產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;楊莘

提供了解壓縮設(shè)備。該解壓縮設(shè)備包括存儲器、解碼器和處理器，其中存儲器配置為存儲待被解壓縮并在人工智能模型的神經(jīng)網(wǎng)絡(luò)處理中使用的壓縮數(shù)據(jù)，解碼器配置為包括與壓縮數(shù)據(jù)的壓縮方法相關(guān)的多個邏輯電路、基于壓縮數(shù)據(jù)的輸入通過多個邏輯電路對壓縮數(shù)據(jù)進(jìn)行解壓縮、并且輸出解壓縮數(shù)據(jù)，處理器配置為從解碼器輸出的數(shù)據(jù)中獲得神經(jīng)網(wǎng)絡(luò)可處理形式的數(shù)據(jù)。

相關(guān)申請的交叉引用

本申請要求并基于2019年5月24日在韓國知識產(chǎn)權(quán)局提交的第10-2019-0060991號韓國專利申請、2019年9月23日在韓國知識產(chǎn)權(quán)局提交的第10-2019-0117081號韓國專利申請以及2019年11月6日在韓國知識產(chǎn)權(quán)局提交的第10-2019-0140720號韓國專利申請的優(yōu)先權(quán)，這些韓國專利申請的每一者的全部公開內(nèi)容以引用的方式并入本文中。

技術(shù)領(lǐng)域

本公開涉及用于對人工智能(AI)系統(tǒng)中的壓縮人工智能模型進(jìn)行解壓縮的解壓縮設(shè)備及其控制方法，該AI系統(tǒng)使用諸如深度學(xué)習(xí)的機(jī)器學(xué)習(xí)算法及其應(yīng)用程序來模擬人腦的認(rèn)知和判斷功能。

背景技術(shù)

近年來，在使深度學(xué)習(xí)模型的性能退化最小化的同時(shí)，已使用修剪和量化來增加壓縮率。例如，等于某個值或更小的權(quán)重被修剪為零的權(quán)重矩陣可以劃分成表示非零值的第一數(shù)據(jù)集、累積每行非零權(quán)重?cái)?shù)目的第二數(shù)據(jù)以及存儲與每個非零值對應(yīng)的列索引的第三數(shù)據(jù)。此后，可以對第一至第三數(shù)據(jù)進(jìn)行量化。另一方面，權(quán)重矩陣可以以矩陣形式表示深度學(xué)習(xí)模型的權(quán)重參數(shù)。

然而，為了從經(jīng)量化的數(shù)據(jù)恢復(fù)原始權(quán)重矩陣，需要釋放量化并從第一至第三數(shù)據(jù)恢復(fù)原始權(quán)重矩陣的過程。也就是說，在恢復(fù)原始權(quán)重矩陣之前，不可能將經(jīng)量化的數(shù)據(jù)劃分成多個群組并且并行處理每個群組。

因此，正在積極地研究以在壓縮過程中保持準(zhǔn)確度并同時(shí)增加壓縮率，并且在解壓縮過程中通過并行處理來確保操作速度。

上述信息僅作為背景信息來呈現(xiàn)以幫助理解本公開。對于上述任何內(nèi)容是否可用作相對于本公開的現(xiàn)有技術(shù)，尚未做出確定，也沒有做出斷言。

發(fā)明內(nèi)容

本公開的各方面旨在至少解決上述問題和/或缺點(diǎn)，并至少提供下面描述的優(yōu)點(diǎn)。因此，本公開的一方面提供了一種解壓縮設(shè)備和用于該解壓縮設(shè)備的方法。

附加方面將部分地在隨后的描述中闡述，并且部分地將從所述描述中顯而易見，或者可以通過所呈現(xiàn)的實(shí)施方式的實(shí)踐來了解。

根據(jù)本公開的一方面，提供了一種解壓縮設(shè)備。該解壓縮設(shè)備包括存儲器、解碼器和處理器，其中存儲器配置為存儲待被解壓縮并在人工智能模型的神經(jīng)網(wǎng)絡(luò)處理中使用的壓縮數(shù)據(jù)，解碼器配置為包括與壓縮數(shù)據(jù)的壓縮方法相關(guān)的多個邏輯電路、基于壓縮數(shù)據(jù)的輸入通過多個邏輯電路對壓縮數(shù)據(jù)進(jìn)行解壓縮、并且輸出解壓縮數(shù)據(jù)，處理器配置為從解碼器輸出的數(shù)據(jù)中獲得神經(jīng)網(wǎng)絡(luò)可處理形式的數(shù)據(jù)。

存儲器進(jìn)一步配置為存儲對應(yīng)于壓縮數(shù)據(jù)的代表值矩陣，其中處理器進(jìn)一步配置為：基于解壓縮數(shù)據(jù)和代表值矩陣獲得神經(jīng)網(wǎng)絡(luò)可處理形式的數(shù)據(jù)，并且使用神經(jīng)網(wǎng)絡(luò)可處理形式的數(shù)據(jù)執(zhí)行神經(jīng)網(wǎng)絡(luò)處理，并且其中解壓縮數(shù)據(jù)和代表值矩陣包括通過量化人工智能模型中所包括的原始矩陣獲得的矩陣。

存儲器進(jìn)一步配置為存儲對應(yīng)于壓縮數(shù)據(jù)的修剪索引矩陣，其中處理器進(jìn)一步配置為基于修剪索引矩陣更新解壓縮數(shù)據(jù)，其中修剪索引矩陣包括在原始矩陣的修剪過程中獲得的矩陣，并且其中修剪索引矩陣在獲得壓縮數(shù)據(jù)的過程中使用。

存儲器配置為進(jìn)一步存儲對應(yīng)于壓縮數(shù)據(jù)的補(bǔ)丁信息，其中處理器進(jìn)一步配置為基于補(bǔ)丁信息改變解壓縮數(shù)據(jù)中所包括的多個元素的至少一個元素的二進(jìn)制數(shù)據(jù)值，并且其中補(bǔ)丁信息包括在獲得壓縮數(shù)據(jù)的過程中生成的誤差信息。