[發明專利]基于概率分布的高效神經網絡結構搜索方法

在審

• 申請號: 202110421335.0
• 申請日: 2021-04-20
• 公開（公告）號: CN113344174A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 王濤;周達;劉星宇;徐航;王易;李明光
• 申請（專利權）人: 湖南大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于概率分布的高效神經網絡結構搜索方法，其特征在于，包括：一種新穎的概率分布式算法，大大減少了訓練子網絡的數量，加快了神經網絡架構搜索過程，并使用邊訓練邊搜索的參數共享模式，在降低子網絡評估成本的同時，保證了表現更好的操作得到更多的訓練，進一步加快了神經網絡架構搜索過程。

2.根據權利要求1所述的方法，其特征在于，所述概率分布式算法，包括：初始化與采樣，網絡結構的多樣性是通過為每兩個節點之間選擇個可能的操作來實現的；通過一開始給各操作初始化概率，不斷更新迭代概率，最終選擇表現最優的那個操作；在一開始搜索的時候，我們要先將搜索空間中的所有操作都初始化概率參數為即兩個節點之間的個操作的概率之和為1；然后在采樣階段，我們根據每兩個節點之間個操作的概率，選出本輪每兩個節點之間的操作，概率值越大，被選中的概率就越高；最終選出的結果，即為本輪采樣到的網絡。

3.根據權利要求1或2所述的方法，其特征在于，所述概率分布式算法,包括:概率更新方法，對于網絡性能評估策略，我們也采取了強制參數共享的方式，在采樣網絡完成，堆疊cell組成完整CNN網絡后，直接賦予共享參數，然后在數據集上進行性能評估；在得到該網絡在數據集上的準確度后，我們將反饋該準確率，進行各個操作的概率更新；根據概率選出操作，確定cell之后堆疊成完整網絡，被賦予共享參數后，進行性能評估，再反饋給控制器，進行信息和概率的更新，完成一輪迭代.首先，我們將記錄搜索空間中每個操作的訓練代數以及該操作的平均準確率；將操作概率定義為將每個操作的訓練代數定義為將每個操作的平均準確率定義為其中代表個操作中的某個操作，遵循的規則為，在節點和之間的個操作中，如果操作相比其它操作迭代次數更少且準確率更高，則該操作優于其它操作，各操作平均準確率的更新公式為：

操作間的比較公式為：

所以操作的概率更新公式為：

P_m＝P_m+α×Z,(1≤m≤M) (6)

其中α是超參數，代表操作概率更新的幅度大小；在搜索空間中挑選出迭代次數更少，但是平均準確率卻更高的操作，然后增強該操作的概率；同時，對那些迭代次數更多，但是平均準確率卻更低的操作，我們認為這是屬于表現不好的操作，減弱該操作的概率；在經過一定次數的迭代之后，搜索空間中的各操作的概率將會有效的收斂并穩定；為了生成最終的神經網絡，我們在概率收斂后，選擇所有邊中概率最高的操作；對于具有多個輸入的節點，我們采用前個概率的操作；在確定normal cell和reduction cell后，我們將它們按設定的數量進行堆疊組成完整神經網絡。

4.根據權利要求1所述的方法，其特征在于，所述邊訓練邊搜索的參數共享模式包括：在已知搜索空間已經確定，且我們確定了在每輪迭代搜索到cell后，將由個cell堆疊組成完整的神經網絡進行性能評估；所以我們共享的是個cell中各邊上的各操作參數；即僅需要保存個操作的訓練參數，其中ε是具有N個中間節點的可能邊的集合；然后每次在訓練數據集或者評估數據集上訓練或評估神經網絡時，從保存的共享參數中讀取相應的操作參數而不是隨機初始化，在訓練參數結束后，又將最新的操作參數保存回相應位置。

5.根據權利要求1或4所述的方法，其特征在于，所述邊訓練邊搜索的參數共享模式包括：我們在訓練了一代共享參數后，便進行一輪網絡搜索，在采樣到網絡，進行性能評估，更新操作概率之后，用更新后的操作概率再進行新一輪的共享參數訓練，如此迭代，直至操作概率收斂且穩定。