[發明專利]用于機器學習模型的壓縮和分發的系統和方法

在審

• 申請號: 201780092778.1
• 申請日: 2017-07-06
• 公開（公告）號: CN110809771A
• 公開（公告）日: 2020-02-18
• 發明（設計）人: J.阿拉庫加拉;R.奧布里克
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06F7/483;G06N3/04;G06N3/08
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 金玉潔

本公開提供了用于壓縮和/或分發機器學習模型的系統和方法。在一個示例中，提供了一種計算機實現的方法來壓縮機器學習模型，該方法包括由一個或多個計算設備獲得機器學習模型。該方法包括由一個或多個計算設備選擇要被量化的權重，以及由一個或多個計算設備對該權重進行量化。該方法包括由一個或多個計算設備將量化誤差的至少一部分傳播到一個或多個未被量化的權重，以及由一個或多個計算設備對未被量化的權重中的一個或多個進行量化。該方法包括由一個或多個計算設備提供被量化的機器學習模型。

技術領域

本公開總體上涉及機器學習模型。更具體地，本公開涉及在機器學習模型的分發中利用壓縮。

背景技術

機器學習模型可以幫助解決傳統上對于計算系統而言具有困難的各種任務。但是，機器學習模型通常很大，并且需要大量存儲容量和傳輸帶寬以遞送到計算系統。因此，為了使機器學習模型對于帶寬受限網絡中的應用(例如在移動應用等中)更具吸引力，需要減少機器學習模型的傳送和存儲的成本的方法。

發明內容

本公開的實施例的方面和優點將部分地在以下描述中闡述，或者可以從描述中學習，或者可以通過對實施例的實施而學習。

本公開的一個示例方面針對一種壓縮機器學習模型的計算機實現的方法。該方法可以包括由一個或多個計算設備獲得機器學習模型。該方法可以還包括由一個或多個計算設備選擇要被量化的權重。該方法可以還包括由一個或多個計算設備對該權重進行量化。該方法可以還包括由一個或多個計算設備將量化誤差的至少一部分傳播到一個或多個未被量化的權重。該方法可以還包括由一個或多個計算設備對未被量化的權重中的一個或多個進行量化。該方法可以還包括由一個或多個計算設備提供被量化的機器學習模型。

在一些實施例中，在傳播量化誤差的情況下，該方法可以另外包括由一個或多個計算設備確定量化誤差。傳播量化誤差還可以包括：由一個或多個計算設備確定與該權重相關聯的一個或多個未被量化的權重。傳播量化誤差還可以包括：由一個或多個計算設備將量化誤差的零散部分(fractional part)分配給每個相關聯的未被量化的權重。

本公開的另一示例方面針對一種計算設備。該計算設備包括一個或多個處理器；以及一個或多個非暫時性計算機可讀介質，其存儲指令，該指令在由一個或多個處理器執行時使計算設備執行操作。指令的執行使計算設備獲得機器學習模型。指令的執行還使計算設備選擇要被量化的權重。指令的執行還使計算設備對權重進行量化。指令的執行還使計算設備將量化誤差的至少一部分傳播到一個或多個未被量化的權重。指令的執行還使計算設備對未被量化的權重中的一個或多個進行量化。指令的執行還使計算設備提供被量化的機器學習模型。

本公開的另一示例方面針對一種或多種非暫時性計算機可讀介質，其存儲指令，這些指令在由計算系統的一個或多個處理器執行時使該計算系統執行操作。指令的執行使計算系統獲得機器學習模型。指令的執行使計算系統對于機器學習模型的一個或多個權重，選擇要被量化的權重并對該權重進行量化。指令的執行還使計算系統將量化誤差的至少一部分傳播到一個或多個未被量化的權重。指令的執行還使計算系統提供被量化的機器學習模型。

本公開的其他示例方面針對系統、裝置、有形非暫時性計算機可讀介質、用戶接口、存儲器設備和電子設備。

參考以下描述和所附權利要求，將更好地理解各個實施例的這些和其他特征、方面和優點。結合在本說明書中并構成本說明書的一部分的附圖示出了本公開的實施例，并且與說明書一起用于解釋相關原理。

附圖說明

在說明書中闡述了針對本領域普通技術人員的對實施例的詳細討論，說明書參考附圖，其中：

圖1描繪了根據本公開的示例實施例的計算系統的框圖；

圖2描繪了根據本公開的示例實施例的具有損失管理的模型量化的示例方法的流程圖；