[發明專利]一種神經網絡構建方法以及裝置

在審

• 申請號: 202011131423.9
• 申請日: 2020-10-21
• 公開（公告）號: CN112418392A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 韓凱;王云鶴;張秋林;張維;許春景;錢莉
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N3/063;G06K9/62
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 陳松浩

本申請公開了人工智能領域的一種神經網絡構建方法以及裝置，用于在給定硬件約束條件下，準確高效地構建出與硬件更適配的目標神經網絡。該方法包括：從預設的搜索空間中采樣得到至少一組第一參數組合，搜索空間中包括構建神經網絡時使用的多種參數的取值范圍；根據至少一組第一參數組合構建多個第一神經網絡；生成映射關系，映射關系包括多種參數和多個第一神經網絡的評估結果之間的關系；獲取約束范圍，所述約束范圍包括標識計算裝置的計算能力的數值范圍；根據映射關系，得到和約束范圍對應的第二參數組合；根據第二參數組合得到目標神經網絡。

技術領域

本申請涉及人工智能領域，尤其涉及一種神經網絡構建方法以及裝置。

背景技術

在人工智能領域中，神經網絡尤其是深度神經網絡近年來在計算視覺領域取得了巨大的成功。受益于計算力的增加與越來越多不同的組成元件的提出，神經網絡結構朝著越來越復雜的方向發展。

為了使神經網絡適應在不同硬件設備中運行，可以調節神經網絡的深度或寬度等。然而，若需要都神經網絡的多項都進行人工調節，才能得到與硬件設備更匹配的神經網絡，調節效率低下。因此，如何高效地得到與硬件設備適配的神經網絡，成為亟待解決的問題。

發明內容

本申請提供一種神經網絡構建方法以及裝置，用于在給定硬件約束條件下，準確高效地構建出與硬件更適配的目標神經網絡。

有鑒于此，第一方面，本申請提供一種神經網絡構建方法，包括：從預設的搜索空間中采樣得到至少一組第一參數組合，搜索空間中包括構建神經網絡時使用的多種參數的取值范圍，至少一組第一參數組合中的每個第一參數組合包括多種參數中的每一種參數的值；根據至少一組第一參數組合構建多個第一神經網絡；獲取約束范圍，所述約束范圍包括標識計算裝置的計算能力的數值范圍，約束范圍可以是根據計算裝置的計算能力的信息確定的數值范圍；根據映射關系，得到和約束范圍對應的第二參數組合，該映射關系包括多種參數和多個第一神經網絡的評估結果之間的關系，評估結果為對多個第一神經網絡中的每個第一神經網絡的結構進行評估得到的結果；根據第二參數組合得到目標神經網絡。

因此，在本申請實施方式中，可以從搜索空間中搜索得到至少一組參數組合，基于該至少一組參數組合得到多個神經網絡，并基于該至少一組參數組合和多個神經網絡的結構的評估結果來生成映射關系。隨后可以根據該映射關系，得到與計算裝置的約束范圍對應的參數組合，從而根據該參數組合得到與硬件適配的最優模型。可以理解為，可以以硬件的計算能力作為約束對模型進行縮放，得到與硬件適配的最優模型。

在一種可能的實施方式中，在生成映射關系之前，該方法還可以包括：使用預設的第一數據集訓練多個第一神經網絡，得到訓練后的多個第一神經網絡；根據訓練后的多個第一神經網絡中的每個第一神經網絡的評估結果或訓練后的每個訓練后的第一神經網絡的輸出精度，從多個第一神經網絡中篩選出至少一個第二神經網絡；映射關系是至少一個第二神經網絡中每個第二神經網絡的對應的參數組合和每個第二神經網絡的評估結果之間的關系。

因此，在本申請實施方式中，可以對多個第一神經網絡進行訓練，并從訓練得到的多個第一神經網絡中選擇出更優的多個第二神經網絡，從而后續可以根據更有的第二神經網絡來得到映射關系，以使根據該映射關系篩選出的參數組合對應的目標神經網絡在結構或者輸出精度的表現更優，更能與硬件適配。

在一種可能的實施方式中，可以從多個第一神經網絡中，篩選出評估結果最優或者輸出精度最高的多個神經網絡作為第二神經網絡，從而使后續可以根據在結構或者輸出精度上表現更優的第二神經網絡來生成映射關系，以使根據該映射關系篩選出的參數組合對應的目標神經網絡在結構或者輸出精度的表現更優，更能與硬件適配。

在一種可能的實施方式中，映射關系可以是對至少一個第二神經網絡中每個第二神經網絡的對應的參數組合和每個第二神經網絡的評估結果之間的關系進行擬合得到。