[發明專利]神經網絡模型搜索方法、裝置以及電子設備

有效

• 申請號: 202010117434.5
• 申請日: 2020-02-25
• 公開（公告）號: CN111340222B
• 公開（公告）日: 2023-06-13
• 發明（設計）人: 希滕;張剛;溫圣召
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06N3/082
• 分類號: G06N3/082;G06N3/04
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 曹娜

本申請實施例公開了一種神經網絡模型搜索方法、裝置以及電子設備，涉及深度學習技術領域。神經網絡模型搜索方法包括：將第一網絡模型發送至多個服務器，以使多個服務器中的每個服務器根據第一網絡模型生成對應的鄰居網絡模型；接收每個服務器反饋的鄰居網絡模型的性能指標；根據性能指標，對網絡模型生成器進行更新；在更新后的網絡模型生成器生成第二網絡模型后，以第二網絡模型作為第一網絡模型；進行上述迭代更新處理，直至網絡模型生成器收斂；以更新后得到的網絡模型生成器生成的網絡模型作為神經網絡模型搜索的結果。利用豐富的服務器等設備資源，能夠最大程度上提高網絡模型生成器的更新速度，提升神經網絡模型的搜索效率，節省搜索時間。

技術領域

本申請涉及深度學習技術領域，尤其涉及神經網絡模型搜索技術領域。

背景技術

深度學習技術在很多方向上都取得了巨大的成功。深度學習技術中，需要定義神經網絡模型的參數，例如，神經網絡層的數量，每層神經網絡層對應什么類型的算子，卷積操作中的卷積尺寸等。這些參數具有維度高，離散且相互依賴等特點。最近幾年，NAS技術(Neural?Architecture?Search，神經網絡架構搜索)成為研究熱點。NAS是用算法代替繁瑣的人工操作，在包括有海量神經網絡模型的搜索空間中，自動搜索出具有最優參數的神經網絡模型，即精度較好的神經網絡模型。

現有的神經網絡模型搜索方法包括三種：第一種是采用基于強化學習的模型結構自動搜索方法，第二種是基于遺傳算法的模型結構自動搜索方法，第三種是基于模擬退火算法的模型結構自動搜索方法。這三種方法需要采樣數萬個神經網絡模型，才能使得模型收斂，收斂速度慢，進而導致搜索時間長，搜索效率低。

發明內容

本申請實施例提供神經網絡模型搜索方法、裝置以及電子設備，以解決現有技術中的一個或多個技術問題。

第一方面，本申請實施例提供了神經網絡模型搜索方法，包括：

將第一網絡模型發送至多個服務器，以使多個服務器中的每個服務器根據第一網絡模型生成對應的鄰居網絡模型；

接收每個服務器反饋的鄰居網絡模型的性能指標；

根據性能指標，對網絡模型生成器進行更新；

在更新后的網絡模型生成器生成第二網絡模型后，以第二網絡模型作為第一網絡模型，進行上述迭代更新處理，直至網絡模型生成器收斂；

以更新后得到的網絡模型生成器生成的網絡模型作為神經網絡模型搜索的結果。

本實施方式中，可用于大多數業務場景下的神經網絡模型的自動搜索過程，利用豐富的服務器等設備資源，能夠最大程度上提高網絡模型生成器的更新速度，提升神經網絡模型的搜索效率，節省搜索時間。解決單機條件下神經網絡模型搜索效率低，搜索時間長的問題。

在一種實施方式中，多個服務器包括第一服務器，根據性能指標，對網絡模型生成器進行更新，包括：

在第一服務器反饋的第一鄰居網絡模型的性能指標大于第一網絡模型的性能指標的情況下，計算第一鄰居網絡模型的性能指標與第一網絡模型的性能指標的差；

根據計算得到的性能指標的差以及第一服務器對應的當前迭代輪次，對網絡模型生成器進行更新。

在一種實施方式中，多個服務器還包括第二服務器，根據性能指標，對網絡模型生成器進行更新，還包括：

在第二服務器反饋的第二鄰居網絡模型的性能指標大于第二網絡模型的性能指標的情況下，計算第二鄰居網絡模型的性能指標與第二網絡模型的性能指標的差；

根據計算得到的性能指標的差以及第二服務器對應的當前迭代輪次，對網絡模型生成器進行更新。