[發明專利]用于從經訓練神經網絡生成壓縮網絡的設備和方法

在審

• 申請號: 202010985584.8
• 申請日: 2020-09-18
• 公開（公告）號: CN112529174A
• 公開（公告）日: 2021-03-19
• 發明（設計）人: J·皮特斯;E·胡格布姆;M·韋林;M·坎德米爾;K·S·M·巴爾西姆
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06K9/62
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 畢錚;陳嵐

公開了用于從經訓練神經網絡生成壓縮網絡的設備和方法，其中該方法包括：模型（402）從第一訓練數據（304）生成壓縮圖（412），該壓縮圖（412）表示模型（402）的模型分量響應于第一訓練數據（304）對第一輸出數據的影響；通過根據壓縮圖（412）壓縮（604）經訓練神經網絡來生成壓縮網絡（606）；經訓練神經網絡（610）響應于第二訓練數據（306）生成經訓練網絡輸出數據（612）；壓縮網絡（606）響應于第二訓練數據（306）生成壓縮網絡輸出數據（608）；通過將經訓練網絡輸出數據（612）與壓縮網絡輸出數據（608）進行比較來訓練模型（402）。

技術領域

各種實施例總地涉及用于從經訓練神經網絡生成壓縮網絡的設備和方法。

背景技術

舉例來說，對于自主駕駛，諸如相機傳感器和/或視頻傳感器之類的成像傳感器可以用于提供交通工具周圍環境的數字圖像。可以訓練神經網絡來處理諸如繁忙的城市、雪山或荒蕪的平原之類的各種環境中的數字圖像，并且可以取決于數字圖像中圖示的情形來控制交通工具。因此，針對各種環境、情形、對象、上下文等對神經網絡進行訓練，從而使得經訓練神經網絡計算密集。然而，如果交通工具處于一個環境（例如城市）中，則交通工具不需要對神經網絡在其他環境（例如荒蕪的平原）中針對其進行訓練的情形或對象做出反應。因此，例如在實時且安全關鍵型系統中，有必要提供一種模型，所述模型能夠從用于特定環境的經訓練神經網絡生成具有低計算成本的壓縮網絡。

在大型數據集上訓練各種神經網絡以執行多個任務，從而導致經訓練神經網絡的高計算成本。對于諸如實時應用或安全關鍵型應用的許多應用，可能有必要提供具有低計算成本的神經網絡。此外，可能僅需要執行多個任務中的一些任務。因此，可能有必要從經訓練神經網絡生成壓縮網絡，其中壓縮網絡能夠以低計算成本執行多個任務中的一些任務（例如一個任務）。

在Hinton等人的“Distilling the Knowledge in a Neural Network”（arXiv：1503.0253，2015年）中，描述了一種用于將資源密集型神經網絡壓縮成資源高效型神經網絡的方法。

在Bucila等人的“Model Compression”（KDD proceedings（KDD會議錄），2006年）中，描述了一種用于將資源密集型神經網絡壓縮成資源高效型神經網絡的方法。

在Chen等人的“You Look Twice: GaterNet for Dynamic Filter Selection inCNNs”（arXiv：1811,11205，2019年）中，描述了一種用于使用縮放掩模來改進神經網絡性能的方法。

在Finn等人的“Model-Agnostic Meta-Learning for Fast Adaption of DeepNetworks”（International Conference on Machine Learning（國際機器學習會議），2017年）中，描述了一種用于推廣到未知任務的元學習方法。

發明內容

具有獨立權利要求1（第一示例）和獨立權利要求11（第三十一示例）的特征的方法和設備使得模型能夠被訓練為從經訓練神經網絡生成壓縮網絡，以用于執行經訓練神經網絡的特定任務。

模型可以是針對輸入數據提供輸出數據的任何種類的算法。例如，模型可以是神經網絡。

所述模型可以包括第一模型部分和第二模型部分。生成壓縮圖可以包括第一模型部分生成影響圖。影響圖可以表示第一模型分量響應于相關聯的第一訓練數據對第一輸出數據中的每個第一輸出數據的影響。生成壓縮圖可以進一步包括生成多個影響圖的組合影響圖。生成壓縮圖可以包括第二模型部分從組合影響圖生成壓縮圖。說明性地，影響圖可以表示相應的第一模型分量響應于第一訓練數據對第一輸出數據的重要性或影響。本段中提到的特征與第一示例相組合提供了第二示例。