[發明專利]確定神經網絡的方法和裝置

在審

• 申請號: 201911090334.1
• 申請日: 2019-11-08
• 公開（公告）號: CN112784954A
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 徐航;李震國;張維;梁小丹;江宸瀚
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 北京龍雙利達知識產權代理有限公司 11329
• 代理人: 陳洪艷;王君

本申請提供人工智能領域中確定神經網絡的方法和相關裝置。所述方法包括：獲取多個初始搜索空間；根據所述多個初始搜索空間確定M個候選神經網絡，所述候選神經網絡包括多個候選子網絡，所述多個候選子網絡屬于所述多個初始搜索空間，且所述多個候選子網絡中任意兩個候選子網絡所屬的初始搜索空間不同；對所述M個候選神經網絡進行評估，得到M個評估結果；根據所述M個評估結果和所述M個候選神經網絡，確定N個第一目標神經網絡。本申請提供的方法和相關裝置，能夠獲得具有較高性能的組合式神經網絡。

技術領域

本申請涉及人工智能領域，更具體地，尤其涉及確定神經網絡的方法和裝置。

背景技術

神經網絡是一類模仿生物神經網絡(動物的中樞神經系統)的結構和功能的數學計算模型。一個神經網絡可以包括多種不同功能的神經網絡層，每層包括參數和計算公式。根據計算公式的不同或功能的不同，神經網絡中不同的層有不同的名稱，例如：進行卷積計算的層稱為卷積層，所述卷積層常用于對輸入信號(例如：圖像)進行特征提取。

一些應用場景中所使用的神經網絡可以由多個神經網絡組合構成。例如，用于執行目標檢測任務的神經網絡可以由殘差網絡(residual networks，ResNet)，多層次特征抽取模型和區域候選網絡(RPN)組合構成。

因此，如何獲得由多個神經網絡組合而成的神經網絡是一個亟待解決的技術問題。

發明內容

本申請提供確定神經網絡的方法和相關裝置，能夠獲得具有較高性能的組合式神經網絡。

第一方面，本申請提供一種確定神經網絡的方法，所述包括：獲取多個初始搜索空間，所述初始搜索空間包括一個或多個神經網絡，任意兩個所述初始搜索空間中的神經網絡的功能不同，同一個所述初始搜索空間中的任意兩個神經網絡的功能相同且網絡結構不同；根據所述多個初始搜索空間確定M個候選神經網絡，所述候選神經網絡包括多個候選子網絡，所述多個候選子網絡屬于所述多個初始搜索空間，且所述多個候選子網絡中任意兩個候選子網絡所屬的初始搜索空間不同，M為正整數；對所述M個候選神經網絡進行評估，得到M個評估結果；根據所述M個評估結果和所述M個候選神經網絡，確定N個第一目標神經網絡，所述第一目標神經網絡包括多個目標子網絡，所述N個第一目標神經網絡與所述M個候選神經網絡中的N個候選神經網絡一一對應，所述N個第一目標神經網絡中第i個第一目標神經網絡所包括的多個目標子網絡與所述N個候選神經網絡中第i個候選神經網絡所包括的多個候選子網絡一一對應，所述第i個第一目標神經網絡所包括的多個目標子網絡中的每個目標子網絡所包括的塊與所述第i個候選神經網絡所包括的多個候選子網絡中對應的候選子網絡所包括的塊相同，N為小于或等于M的正整數，i為小于或等于N的正整數。

本方法中，從多個初始搜索空間中采樣得到候選神經網絡后，對整個候選神經網絡進行評估，然后再根據評估結果和該候選神經網絡來確定第一目標神經網絡。這種采樣得到候選神經網絡之后，根據候選神經網絡整體的評估結果來確定第一目標神經網絡，與分別評估候選子網絡，然后根據候選子網絡的評估結果來確定第一目標神經網絡的方式相比，充分考慮候選子網絡之間的組合方式，可以獲得性能更好的第一目標神經網絡。

在一些可能的實現方式中，所述候選神經網絡的評估結果包括以下一種或多種：運行速度，精度、參數量或浮點運算次數。

在一些可能的實現方式中，所述根據所述M個評估結果和所述M個候選神經網絡，確定N個第一目標神經網絡，包括：根據所述M個評估結果，將所述M個候選神經網絡中評估結果滿足任務需求的N個候選神經網絡確定為所述N個第一目標神經網絡。

例如，將所述M個候選神經網絡中運行速度和/或精度滿足預設的任務需求的N個候選神經網絡確定為所述N個第一目標神經網絡。