[發明專利]用于壓縮神經網絡的方法和裝置

有效

• 申請號: 201711478743.X
• 申請日: 2017-12-29
• 公開（公告）號: CN109993298B
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 張剛
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06N3/0495
• 分類號: G06N3/0495;G06N3/082
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請實施例公開了用于壓縮神經網絡的方法和裝置。該方法的一具體實施方式包括:獲取待壓縮的經訓練后的神經網絡；從該神經網絡的各層中選取至少一層作為待壓縮層；按照待壓縮層在該神經網絡中所處的層級的層級數由大到小的順序，依次對每個待壓縮層執行以下處理步驟：基于指定數目，對該待壓縮層中的參數進行量化，并利用機器學習方法，基于預置的訓練樣本對經量化后的神經網絡進行訓練；將對選取出的各個待壓縮層進行該處理步驟后所得的神經網絡確定為經壓縮后的神經網絡，并存儲經壓縮后的神經網絡。該實施方式實現了對神經網絡的有效壓縮。

技術領域

本申請實施例涉及計算機技術領域，具體涉及互聯網技術領域，尤其涉及用于壓縮神經網絡的方法和裝置。

背景技術

目前，隨著人工智能不斷的發展，神經網絡的應用范圍也在不斷的擴展。這里，神經網絡是人工神經網絡的簡稱。神經網絡可以應用于服務端，以對圖像、文字、音頻等進行處理。當然，現在神經網絡還可以包含在客戶端應用中。用戶通過其終端設備所安裝的客戶端應用中的神經網絡可以實現對圖像、文字、音頻等的編輯。

現有的神經網絡通常占用較多的存儲空間，例如磁盤空間或內存空間等。若用戶在其持有的設備(例如智能手機、平板電腦等移動設備)上安裝較多的包含神經網絡的應用，那么該設備可能剩余較少的可用存儲空間，該設備可能會出現運行速度慢、宕機等異常情況。

發明內容

本申請實施例提出了用于壓縮神經網絡的方法和裝置。

第一方面，本申請實施例提供了一種用于壓縮神經網絡的方法，該方法包括：獲取待壓縮的經訓練后的神經網絡；從神經網絡的各層中選取至少一層作為待壓縮層；按照待壓縮層在神經網絡中所處的層級的層級數由大到小的順序，依次對每個待壓縮層執行以下處理步驟：基于指定數目，對該待壓縮層中的參數進行量化，并利用機器學習方法，基于預置的訓練樣本對經量化后的神經網絡進行訓練；將對選取出的各個待壓縮層進行上述處理步驟后所得的神經網絡確定為經壓縮后的神經網絡，并存儲經壓縮后的神經網絡。

在一些實施例中，從神經網絡的各層中選取至少一層作為待壓縮層，包括：若神經網絡包括卷積層和全連接層，則選取至少一個卷積層和/或至少一個全連接層作為待壓縮層。

在一些實施例中，基于指定數目，對該待壓縮層中的參數進行量化，并利用機器學習方法，基于預置的訓練樣本對經量化后的神經網絡進行訓練，包括：執行以下量化訓練操作：基于該待壓縮層中的參數的參數值，確定包含指定數目個映射值的映射值集合；對該待壓縮層中的參數進行量化以將該參數置為映射值集合中的映射值；利用機器學習方法，基于訓練樣本對經量化后的神經網絡進行訓練；如果當前經訓練后的神經網絡的精度不低于預設精度，則停止執行量化訓練操作；如果當前經訓練后的神經網絡的精度低于預設精度，則擴大指定數目，并重新執行量化訓練操作。

在一些實施例中，基于該待壓縮層中的參數的參數值，確定包含指定數目個映射值的映射值集合，包括：按照參數值大小對該待壓縮層中的參數進行排序，將經排序后的參數劃分成指定數目個參數序列；對于每個參數序列，基于該參數序列中的參數的參數值，確定與該參數序列對應的映射值；將所確定的與指定數目個參數序列分別對應的映射值生成映射值集合。

在一些實施例中，基于該參數序列中的參數的參數值，確定與該參數序列對應的映射值，包括：若該參數序列中的參數的數量為奇數，則將該參數序列中的處于中間位置的參數的參數值確定為與該參數序列對應的映射值。

在一些實施例中，基于該參數序列中的參數的參數值，確定與該參數序列對應的映射值，還包括：確定該參數序列中的參數的參數值的平均值，將該平均值確定為與該參數序列對應的映射值。

在一些實施例中，對該待壓縮層中的參數進行量化以將該參數的參數值置為映射值集合中的映射值，包括：對于該待壓縮層中的每個參數，在上述指定數目個參數序列中確定該參數所在的目標參數序列，將該參數置為映射值集合中的與目標參數對應的映射值。