[發明專利]用于機器學習模型的壓縮和分發的系統和方法

在審

• 申請號: 201780092778.1
• 申請日: 2017-07-06
• 公開（公告）號: CN110809771A
• 公開（公告）日: 2020-02-18
• 發明（設計）人: J.阿拉庫加拉;R.奧布里克
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06F7/483;G06N3/04;G06N3/08
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 金玉潔

1.一種壓縮機器學習模型的計算機實現的方法，所述方法包括：

由一個或多個計算設備獲得機器學習模型；

由所述一個或多個計算設備選擇要被量化的權重；

由所述一個或多個計算設備對所述權重進行量化；

由所述一個或多個計算設備將量化誤差的至少一部分傳播到一個或多個未被量化的權重；

由所述一個或多個計算設備對所述未被量化的權重中的一個或多個進行量化；以及

由所述一個或多個計算設備提供被量化的機器學習模型。

2.根據權利要求1所述的計算機實現的方法，其中，傳播所述量化誤差的步驟包括：

由所述一個或多個計算設備確定所述量化誤差；

由所述一個或多個計算設備確定與所述權重相關聯的一個或多個未被量化的權重；以及

由所述一個或多個計算設備將量化誤差的微小部分分配給每個相關聯的未被量化的權重。

3.根據權利要求2所述的計算機實現的方法，其中，部分地基于預定乘數，將所述量化誤差的零碎部分分配給每個相關聯的未被量化的權重。

4.根據權利要求2或3所述的計算機實現的方法，其中：

由所述一個或多個計算設備確定所述量化誤差包括：由所述一個或多個計算設備確定與所述機器學習模型的第一層中的第一節點相關聯的量化誤差；并且

由所述一個或多個計算設備確定與所述權重相關聯的一個或多個未被量化的權重包括：識別所述第一層中的第二節點，其中，所述第一節點和第二節點每個均具有到第二層中的第三節點的連接。

5.根據權利要求2至4中任一項所述的計算機實現的方法，其中，由所述一個或多個計算設備將所述量化誤差的零碎部分分配給每個相關聯的未被量化的權重包括：由所述一個或多個計算設備在所述模型的節點內抖動所述量化誤差。

6.根據權利要求5所述的計算機實現的方法，還包括部分地基于所述模型的節點之間的活動的相關性，由所述一個或多個計算設備在所述模型的節點內抖動所述量化誤差。

7.根據權利要求6所述的計算機實現的方法，其中，當在所述模型的節點之間存在活動的反相關性時，在相反方向上抖動所述量化誤差。

8.根據權利要求1所述的計算機實現的方法，其中，傳播所述量化誤差的步驟包括：

由所述一個或多個計算設備鎖定被量化的權重；以及

由所述一個或多個計算設備執行所述機器學習模型的附加訓練迭代，其中，執行附加訓練迭代包括更新未被量化的權重。

9.根據權利要求8所述的計算機實現的方法，還包括由所述一個或多個計算設備鎖定多個被量化的最佳匹配系數權重。

10.根據前述權利要求中的任一項所述的計算機實現的方法，其中，選擇要被量化的權重包括選擇最佳匹配系數。

11.一種計算設備，包括：

一個或多個處理器；和

存儲指令的一個或多個非暫時性計算機可讀介質，所述指令在由一個或多個處理器執行時使所述計算設備：

獲得機器學習模型；

選擇要被量化的權重；

對所述權重進行量化；

將量化誤差的至少一部分傳播到一個或多個未被量化的權重；

對所述未被量化的權重中的一個或多個進行量化；以及

提供被量化的機器學習模型。

12.根據權利要求11所述的計算機設備，其中，傳播所述量化誤差包括：

確定所述量化誤差；

確定與所述權重相關聯的一個或多個未被量化的權重；以及

將所述誤差的零碎部分分配給每個相關聯的未被量化的權重。

13.根據權利要求12所述的計算設備，其中，部分地基于預定乘數，將所述量化誤差的零碎部分分配給每個相關聯的未被量化的權重。