[發明專利]基于超網絡的模型結構采樣、裝置以及電子設備

在審

• 申請號: 201910861008.X
• 申請日: 2019-09-11
• 公開（公告）號: CN110580520A
• 公開（公告）日: 2019-12-17
• 發明（設計）人: 希滕;張剛;溫圣召
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 11313 北京市鑄成律師事務所
• 代理人: 王珺;徐瑞紅

本申請公開了一種基于超網絡的模型結構采樣方法、裝置以及電子設備。涉及神經網絡搜索領域。具體實現方案為：獲取超網絡中初始化的模型結構；迭代更新初始化的模型結構的參數，得到第一個鄰居模型結構；根據第一個鄰居模型結構的參數進行循環迭代更新，直至滿足超網絡的收斂條件的情況下，得到第N個鄰居模型結構，N大于或等于2；將第一個鄰居模型結構至第N個鄰居模型結構作為采樣模型結構。提出了鄰居模型結構進行迭代的采樣策略，能夠保證參數共享。將每次迭代更新得到的鄰居模型結構作為采樣模型結構，更新一次超網絡的參數，使得超網絡的參數能夠滿足搜索空間中所有的模型結構，且使得這些模型結構的性能都較好。

技術領域

本申請涉及一種計算機視覺領域，尤其涉及一種神經網絡搜索領域。

背景技術

深度學習技術在很多方向上都取得了巨大的成功，最近幾年NAS技術(NeuralArchitecture Search，神經網絡架構搜索)成為研究熱點。NAS是用算法代替繁瑣的人工操作，在海量的搜索空間中自動搜索出最佳的神經網絡架構。超網絡的核心思想是通過參數共享的方式，可以同時訓練大量網絡結構，無需對每一個網絡結構進行訓練。通過評估模型在超網絡的性能，來選擇最優的模型結構。采樣策略對于基于超網絡的搜索非常重要。在模型結構自動搜索的時候，基于采樣策略會訓練得到一組超網絡的參數，模型結構在超網絡的參數下的性能指標會作為模型選擇的標準。然而，如果采樣策略不合適，導致模型結構在根據不合適的采樣策略得到的超網絡的參數下的性能較差，最終導致基于訓練超網絡的參數得到的模型結構的性能與直接訓練該網絡參數得到的網絡性能并不一致。

目前，采用基于隨機算法的采樣策略，每次迭代的時候，隨機選取超網絡的鏈路，即隨機選取一個網絡模型，網絡模型對應的各個參數也是隨機獲取。然而，對于每次迭代，由于完全沒有重合的參數，導致在超網絡參數反向傳播的時候，無法實現參數共享，導致所有的網絡模型的性能整體較差。

發明內容

本申請實施例提供一種基于超網絡的模型結構采樣方法、裝置以及電子設備，以解決現有技術中的一個或多個技術問題。

第一方面，本申請實施例提供了一種基于超網絡的模型結構采樣方法，包括：

獲取超網絡中初始化的模型結構；

迭代更新初始化的模型結構的參數，得到第一個鄰居模型結構；

根據第一個鄰居模型結構的參數進行循環迭代更新，直至滿足超網絡的收斂條件的情況下，得到第N個鄰居模型結構，N大于或等于2；

將第一個鄰居模型結構至第N個鄰居模型結構作為采樣模型結構。

在本實施方式中，提出了鄰居模型結構進行迭代的采樣策略，鄰居模型結構之間的連接方式中，只有少量操作選擇不同，能夠保證參數共享。將每次迭代更新得到的鄰居模型結構作為采樣模型結構，更新一次超網絡的參數，使得超網絡的參數能夠滿足搜索空間中所有的模型結構，且使得這些模型結構的性能都較好。

在一種實施方式中，還包括：

從第一個鄰居模型結構至第N個鄰居模型結構中，連續選擇多組鄰居模型結構，每組鄰居模型結構包括M個鄰居模型結構，M大于或等于1；

獲取每組鄰居模型結構對應的至少一個梯度，并根據至少一個梯度計算每組鄰居模型結構對應的平均梯度；

利用每組鄰居模型結構對應的平均梯度更新一次超網絡的參數。

在本實施方式中，利用每組鄰居模型結構對應的平均梯度更新一次超網絡的參數，直至超網絡收斂，停止更新，能夠提高超網絡的參數的準確率。

在一種實施方式中，還包括：

從第一個鄰居模型結構至第N個鄰居模型結構中，連續選擇多組鄰居模型結構，相鄰兩組鄰居模型結構中的鄰居模型結構的個數均相差第一閾值個數；