[發(fā)明專利]模型壓縮中對稀疏率的貝葉斯優(yōu)化

在審

• 申請?zhí)枺?/td>: 202110020998.1
• 申請日: 2021-01-06
• 公開（公告）號: CN113313229A
• 公開（公告）日: 2021-08-27
• 發(fā)明（設計）人: S·穆拉利他蘭;V·約瑟夫;A·加爾格;M·加蘭
• 申請（專利權）人: 輝達公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N20/00;G06K9/62
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 趙楠

本發(fā)明公開了模型壓縮中稀疏率的貝葉斯優(yōu)化。方法的一個實施例包括：由貝葉斯優(yōu)化器確定第一稀疏率，所述第一稀疏率與由于壓縮機器學習模型而導致的精度損失的限制相關聯(lián)。該方法還包括由貝葉斯優(yōu)化器選擇第二稀疏率，該第二稀疏率在由第一稀疏率限定的搜索空間內(nèi)為機器學習模型優(yōu)化預定義的目標函數(shù)。該方法還包括生成具有所述第二稀疏率的機器學習模型的壓縮版本。

本發(fā)明中的政府權利

根據(jù)DARPA SDH軟件定義的硬件交響曲(Hardware Symphony)DARPA TIA#HR0011-18-3-0007，本發(fā)明受美國政府的保護。美國政府享有本發(fā)明的某些權利。

相關申請的交叉引用

本申請要求2019年8月26日遞交并具有序列號62/891897的題為“資源有效貝葉斯模型壓縮”的美國臨時申請的權益。該申請的主題內(nèi)容通過引用被全部合并于此。

背景技術

各種實施方式的領域

本公開的實施例總體上涉及機器學習模型的壓縮，并且更具體地，涉及模型壓縮中的稀疏率(sparsity ratios)的貝葉斯(Bayesian)優(yōu)化。

相關技術的描述

深度神經(jīng)網(wǎng)絡通常具有大量計算繁重的層，例如卷積層和/或全連接層。此類神經(jīng)網(wǎng)絡還經(jīng)常使用全精度算術進行訓練和部署。結果，執(zhí)行DNN可能會涉及大量的復雜性、延遲和存儲器消耗。

可以采用多種技術來減少深度神經(jīng)網(wǎng)絡的存儲器占用(footprint)和推理時間。例如，可以量化神經(jīng)網(wǎng)絡的參數(shù)和/或激活以減小參數(shù)的位寬(例如，從32位浮點到8位浮點)和/或轉換某些矩陣乘法運算以計算激活為邏輯運算。此外，當權重具有絕對值和/或對神經(jīng)網(wǎng)絡的訓練誤差的影響低于閾值時，可以修剪(prune)(即，去除)神經(jīng)網(wǎng)絡中的權重。

用于壓縮神經(jīng)網(wǎng)絡的現(xiàn)有技術需要目標稀疏率的明確規(guī)范，該稀疏率表示與原始模型相比具有零值的修剪模型中參數(shù)的比例。可替換地，現(xiàn)有技術對搜索空間執(zhí)行手動探索，以修剪或壓縮神經(jīng)網(wǎng)絡。由于最佳稀疏率取決于神經(jīng)網(wǎng)絡、目標平臺和優(yōu)化目標，并且探索中的每次試驗都需要重新訓練壓縮模型使其收斂，因此手動探索和/或壓縮量的選擇是計算密集且不方便的。

如前所述，本領域需要更有效的技術來確定用于壓縮機器學習模型的最佳稀疏率。

發(fā)明內(nèi)容

本發(fā)明的一個實施例闡述了一種用于壓縮機器學習模型的技術。該技術包括由貝葉斯優(yōu)化器確定與精度損失(accuracy loss)的限制相關聯(lián)的第一稀疏率，該精度損失的限制是由壓縮機器學習模型而引起的。該技術還包括：由貝葉斯優(yōu)化器選擇第二稀疏率，該第二稀疏率在由第一稀疏率限定的搜索空間內(nèi)為機器學習模型優(yōu)化預定義的(predefined)目標函數(shù)。該技術還包括生成具有第二稀疏率的機器學習模型的壓縮版本。

所公開技術的一個技術優(yōu)勢是能夠推斷稀疏率，其滿足與壓縮機器學習模型相關聯(lián)的約束和/或目標，而不是要求用戶手動地指定稀疏率來壓縮機器學習模型。因此，所公開的技術提供了用于壓縮和/或執(zhí)行機器學習模型的計算機系統(tǒng)、應用程序和/或技術的技術改進。

附圖說明

為了可以詳細地理解各個實施例的上述特征的方式，可以通過參考各個實施例來對以上簡要概述的發(fā)明構思進行更具體的描述，其中示出了一些實施例在附圖中。然而，應注意，附圖僅示出了本發(fā)明構思的典型實施例，因此不應以任何方式被認為是對范圍的限制，并且還有其他等效的實施例。

圖1示出了被配置為實現(xiàn)各種實施例的一個或更多個方面的系統(tǒng)。

圖2是根據(jù)各種實施例的一個或更多個方面的圖1的貝葉斯優(yōu)化器和壓縮引擎的更詳細的說明。