[發明專利]模型超參數的確定方法及設備、計算設備和介質

在審

• 申請號: 202011148115.7
• 申請日: 2020-10-23
• 公開（公告）號: CN112241786A
• 公開（公告）日: 2021-01-19
• 發明（設計）人: 希滕;張剛;溫圣召
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京市漢坤律師事務所 11602
• 代理人: 姜浩然;吳麗麗

本公開提供一種神經網絡模型的超參數確定方法及設備、計算設備和介質，涉及人工智能技術領域，具體涉及深度學習、計算機視覺技術領域，可用于圖像處理場景。該神經網絡模型的超參數確定方法包括：在神經網絡模型中構建多個搜索空間；針對多個搜索空間中的每一個搜索空間，分別獲取相對應的超參數取值集合；獲取由編碼器生成的一組編碼，其中一組編碼中的編碼個數與多個搜索空間的個數相同；以及根據一組編碼和所獲取的超參數取值集合確定每一個搜索空間所對應的超參數值。

技術領域

本公開涉及人工智能技術領域，具體涉及深度學習、計算機視覺，可用于圖像處理場景，特別涉及一種神經網絡模型的超參數確定方法及設備、計算設備和介質。

背景技術

訓練深度神經網絡非常復雜，因為在訓練過程中，隨著先前各層的參數發生變化，各層輸入的分布也會發生變化。這需要較低的學習率和謹慎的參數初始化，從而減慢了訓練速度，并且很難訓練具有飽和非線性的模型。我們將此現象稱為內部協變量偏移，并通過歸一化層輸入來解決該問題。可以通過將歸一化作為模型體系結構的一部分并針對每個訓練小批量執行歸一化來汲取其優勢。批量歸一化(Batch Normalization，BN)使得可以使用更高的學習率，并且在參數初始化時不必那么小心。

BN參數對于模型的訓練速度以及模型的最終精度影響非常大，然而，通過人工調參的方式很難調試出較優的BN參數。在現有的應用中，模型每層通常采用同樣的BN參數，而模型結構往往有幾十層甚至上百層，所有層采用同樣的BN策略，模型的精度會很差。

在此部分中描述的方法不一定是之前已經設想到或采用的方法。除非另有指明，否則不應假定此部分中描述的任何方法僅因其包括在此部分中就被認為是現有技術。類似地，除非另有指明，否則此部分中提及的問題不應認為在任何現有技術中已被公認。

發明內容

根據本公開的一個方面，提供了一種神經網絡模型的超參數確定方法，包括：在所述神經網絡模型中構建多個搜索空間；針對所述多個搜索空間中的每一個搜索空間，分別獲取相對應的超參數取值集合；獲取由編碼器生成的一組編碼，其中所述一組編碼中的編碼個數與所述多個搜索空間的個數相同；以及根據所述一組編碼和所獲取的超參數取值集合確定每一個所述搜索空間所對應的超參數值。

根據本公開的另一個方面，提供了一種神經網絡模型的超參數確定設備，包括：搜索空間構建單元，配置為在所述神經網絡模型中構建多個搜索空間；第一獲取單元，配置為針對所述多個搜索空間中的每一個搜索空間，分別獲取相應的超參數取值集合；第二獲取單元，配置為獲取由編碼器生成的一組編碼，其中所述一組編碼中的編碼個數與所述多個搜索空間的個數相同；以及第一確定單元，配置為根據所述一組編碼和所獲取的超參數取值集合確定每一個所述搜索空間所對應的超參數值。

根據本公開的又一個方面，提供了一種計算設備，包括：處理器；以及存儲程序的存儲器，該程序包括指令，該指令在由處理器執行時使處理器執行本公開所述的神經網絡模型的超參數確定方法。

根據本公開的又一個方面，提供了一種存儲程序的計算機可讀存儲介質，該程序包括指令，該指令在由計算設備的處理器執行時，致使計算設備執行本公開所述的神經網絡模型的超參數確定方法。

根據本公開的一個方面，上述神經網絡模型的超參數確定方法，通過引入的搜索空間，自動確定不同搜索空間內的相關超參數值，從而實現為模型自動設置一組超參數值，提升了模型在特定硬件上的速度和精度。

根據在下文中所描述的實施例，本公開的這些和其它方面將是清楚明白的，并且將參考在下文中所描述的實施例而被闡明。

附圖說明

附圖示例性地示出了實施例并且構成說明書的一部分，與說明書的文字描述一起用于講解實施例的示例性實施方式。所示出的實施例僅出于例示的目的，并不限制權利要求的范圍。在所有附圖中，相同的附圖標記指代類似但不一定相同的要素。