[發明專利]計算機實施的用于訓練神經網絡的方法和電子系統

在審

• 申請號: 202110307840.2
• 申請日: 2021-03-23
• 公開（公告）號: CN113435568A
• 公開（公告）日: 2021-09-24
• 發明（設計）人: 崔志煥;李正元;穆斯塔法·艾爾可哈米;崔裕鎮
• 申請（專利權）人: 三星電子株式會社
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 張川緒;史泉

提供了一種計算機實施的用于訓練神經網絡的方法和電子系統。所述方法包括：在生成器處接收隨機圖像，在生成器處產生接收的隨機圖像的合成圖像，在教師網絡處接收合成圖像，在學生網絡處接收合成圖像，通過以合成圖像作為輸入執行教師網絡和學生網絡并且調整學生網絡的參數，使教師網絡的輸出與學生網絡的輸出之間的距離的最大值最小化，以訓練學生網絡，以及約束生成器。

本申請基于并要求于2020年3月23日提交并且分配的序列號為62/993,258的美國臨時專利申請的優先權，該美國臨時專利申請的全部內容通過引用包含于此。

技術領域

本公開總體上涉及計算機實施的用于訓練神經網絡的方法和電子系統。

背景技術

深度學習現在在各種計算機視覺任務中引領許多性能突破。深度學習的最先進的性能來自于過參數化的深度神經網絡，過參數化的深度神經網絡使得能夠在對非常大的數據集訓練時自動提取數據的有用表示(特征)以用于目標任務。具有隨機梯度下降的深度神經網絡的優化框架最近使用專用于矩陣/張量計算的硬件單元(諸如，圖形處理單元(GPU))利用反向傳播技術已變得非常快速和高效。過參數化的益處在經驗上被示出為深度學習的巨大成功的關鍵因素，但是一旦找到訓練良好的高準確度模型，其在各種推斷平臺上的部署就面臨不同的要求和挑戰。具體地，為了在資源受限平臺(諸如，移動裝置或邊緣裝置(edge device))上部署預訓練的模型，計算成本和存儲器需求是為了高效推斷而需要仔細考慮的關鍵因素。因此，模型壓縮(也稱為網絡壓縮)是用于開發高效推斷模型的重要過程。

發明內容

根據一個實施例，一種計算機實施的用于訓練神經網絡的方法包括：在生成器處接收隨機圖像；在生成器處產生接收的隨機圖像的合成圖像；在教師網絡處接收合成圖像；在學生網絡處接收合成圖像；通過以合成圖像作為輸入執行教師網絡和學生網絡并且調整學生網絡的參數，使教師網絡的輸出與學生網絡的輸出之間的距離的最大值最小化，以訓練學生網絡；以及約束生成器。

約束生成器的步驟包括：通過調整生成器的參數，使輔助損失項最小化。

輔助損失項包括來自教師網絡的至少一個批歸一化層的匹配統計和實例分類熵中的至少一個，或者來自教師網絡的至少一個批歸一化層的匹配統計和實例分類熵中的至少一個以及批量分類熵。

教師網絡的輸出與學生網絡的輸出之間的距離是教師網絡的最后層的輸出與學生網絡的最后層的輸出之間的距離和/或教師網絡的中間層的輸出與學生網絡的中間層的輸出之間的距離。

根據一個實施例，一種電子系統包括：存儲器；以及處理器，被配置為：在生成器處接收隨機圖像，在生成器處產生接收的隨機圖像的合成圖像，在教師網絡處接收合成圖像，在學生網絡處接收合成圖像，通過以合成圖像作為輸入執行教師網絡和學生網絡并且調整學生網絡的參數，使教師網絡的輸出與學生網絡的輸出之間的距離的最大值最小化，以訓練學生網絡，以及約束生成器。

處理器被配置為通過調整生成器的參數，使輔助損失項最小化來約束生成器。

根據一個實施例，一種方法包括：在生成器處接收隨機輸入，在生成器處產生接收的隨機輸入的合成輸出，在教師網絡處接收合成輸出，在學生網絡處接收合成輸出，使教師網絡的輸出與學生網絡的輸出之間的距離的最大值最小化，以及約束生成器。

約束生成器的步驟基于輔助損失項來執行。

當元數據被提供時，輔助損失項包括到元數據的距離。

元數據是描述在教師網絡中利用原始訓練數據獲得的特征圖的高斯混合參數。

輔助損失項包括來自教師網絡的所述至少一個批歸一化層的匹配統計。

約束生成器的步驟包括：匹配所述至少一個批歸一化層的平均值和方差。

匹配所述至少一個批歸一化層的平均值和方差的步驟利用兩個高斯分布的KL散度來執行。