[發明專利]用于預測模型結構的延時的方法和裝置

在審

• 申請號: 202010116707.4
• 申請日: 2020-02-25
• 公開（公告）號: CN111353601A
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 希滕;張剛;溫圣召
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06N3/06
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本公開涉及人工智能領域。本公開的實施例公開了用于預測模型結構的延時的方法和裝置。該方法包括：通過執行訓練操作獲得訓練完成的延時預測模型；利用訓練完成的延時預測模型預測目標模型結構在設備運行環境中運行產生的延時；其中，訓練操作包括：在預設的網絡結構搜索空間中采樣出網絡結構作為樣本模型結構；獲取樣本模型結構在設備運行環境中運行時產生的實際延時；利用樣本模型結構訓練預設的延時預測模型；基于樣本模型結構在設備的運行環境中運行時產生的實際延時確定訓練后的延時預測模型的預測誤差，響應于確定預測誤差滿足預設的收斂條件，得出訓練完成的延時預測模型。該方法提升了對模型結構運行時產生的延時的估計結果的準確性。

技術領域

本公開的實施例涉及計算機技術領域，具體涉及人工智能技術領域，尤其涉及用于預測模型結構的延時的方法和裝置。

背景技術

隨著人工智能技術和數據存儲技術的發展，深度神經網絡在許多領域的任務中取得了重要的成果。深度神經網絡的網絡結構對任務的執行效果具有直接的影響，因此，構建最優的神經網絡結構成為了深度學習的一個研究熱點。

NAS(neural architecture search，自動化神經網絡結構搜索)是指用算法代替繁瑣的人工操作，自動搜索出最佳的神經網絡架構。通常NAS是基于特定的處理器性能約束條件進行的，例如在指定硬件延時約束條件的情況下，搜索出符合該約束條件的神經網絡結構。而由于不同的硬件設備的性能不同，同一神經網絡結構在不同硬件設備中運行時產生的實際延時可能存在差異。目前的方法是基于已有的硬件設備構建延時表，在網絡結構自動搜索過程中根據延時表查找不同網絡結構的延時。

發明內容

本公開的實施例提出了用于預測模型結構的延時的方法和裝置、電子設備和計算機可讀介質。

第一方面，本公開的實施例提供了一種用于預測模型結構的延時的方法，包括：通過執行訓練操作獲得訓練完成的延時預測模型；利用訓練完成的延時預測模型預測目標模型結構在設備運行環境中運行產生的延時；其中，訓練操作包括：在預設的網絡結構搜索空間中采樣出網絡結構作為樣本模型結構；獲取樣本模型結構在設備運行環境中運行時產生的實際延時；利用樣本模型結構訓練預設的延時預測模型；基于樣本模型結構在設備的運行環境中運行時產生的實際延時確定訓練后的延時預測模型的預測誤差，響應于確定預測誤差滿足預設的收斂條件，得出訓練完成的延時預測模型。

在一些實施例中，上述訓練操作還包括：響應于確定預測誤差不滿足預設的收斂條件，執行下一次訓練操作，并且在下一次訓練操作中增加采樣的網絡結構的數量。

在一些實施例中，上述方法還包括：通過執行多次迭代操作生成用于執行目標分類任務的神經網絡模型；迭代操作包括：基于預設的控制器從預設的網絡結構搜索空間內搜索出當前迭代操作中的候選網絡結構；利用訓練完成的延時預測模型預測候選網絡結構在設備運行環境中運行產生的延時；基于候選網絡結構在設備運行環境中運行產生的延時，作為反饋信息返回至控制器，以使控制器根據反饋信息進行更新；響應于確定反饋信息達到預設的條件，將當前迭代操作中的候選網絡結構確定為搜索出的用于執行目標分類任務的神經網絡模型。

在一些實施例中，上述迭代操作還包括：基于待分類的樣本數據訓練候選網絡結構，得到訓練完成的候選網絡結構的分類準確率；基于候選網絡結構在設備運行環境中運行產生的延時，作為反饋信息返回至控制器，包括：將候選網絡結構的分類準確率作為獎勵信息，候選網絡結構在設備運行環境中運行產生的延時作為懲罰信息，確定出當前迭代操作的反饋信息。

在一些實施例中，上述基于候選網絡結構在設備運行環境中運行產生的延時，作為反饋信息返回至控制器，包括：基于待分類的樣本數據訓練候選網絡結構，測試訓練后的候選網絡結構的實際延時；響應于確定候選網絡結構的實際延時超過預測模型預測出的候選網絡結構在設備運行環境中運行產生的延時，根據候選網絡結構的實際延時與延時預測模型預測出的候選網絡結構在設備運行環境中運行產生的延時之間的差異確定當前的反饋信息。