[發明專利]模型生成方法和裝置

在審

• 申請號: 201911045657.9
• 申請日: 2019-10-30
• 公開（公告）號: CN110766142A
• 公開（公告）日: 2020-02-07
• 發明（設計）人: 希滕;張剛;溫圣召
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 11204 北京英賽嘉華知識產權代理有限責任公司
• 代理人: 王達佐;馬曉亞

本公開涉及人工智能技術領域。本公開的實施例提供了模型生成方法和裝置。該方法包括：獲取用于執行深度學習任務的第一神經網絡；通過執行多次迭代操作搜索出第二神經網絡；迭代操作包括：基于當前的反饋獎勵值對預設的模型結構控制器進行更新，采用更新后的模型結構控制器生成候選神經網絡；基于第一神經網絡對候選神經網絡進行蒸餾，確定蒸餾后的候選神經網絡的蒸餾損失函數；基于蒸餾后的候選神經網絡的蒸餾損失函數更新獎勵反饋值；響應于確定獎勵反饋值達到預設的收斂條件或者迭代操作的累計次數達到預設的次數閾值，確定當前迭代操作中得到的蒸餾后的候選神經網絡為搜索出的第二神經網絡。該方法可以自動搜索出適合蒸餾的神經網絡模型結構。

技術領域

本公開的實施例涉及計算機技術領域，具體涉及人工智能技術領域，尤其涉及模型生成方法和裝置。

背景技術

隨著人工智能技術的發展，深度學習在很多應用領域都取得了良好的成果。深度學習中，神經網絡的結構對模型的效果有非常重要的影響。實踐中為了獲得較高的性能，神經網絡的結構復雜度較高，運行神經網絡所需耗費的計算資源較多。而手工設計網絡的結構需要非常豐富的經驗和多次嘗試，成本較高。

模型蒸餾是利用大模型的來監督小網絡的訓練使得小網絡達到大網絡性能的一種手段。模型蒸餾可以有效減少模型運行的資源消耗、目前的方法都是通過大模型來蒸餾人工設計的小網絡。然而，人工設計的小網絡的模型結構可能并不適合蒸餾，或者，人工設計的小網絡與大網絡的結構可能不匹配導致蒸餾效果不理想。

發明內容

本公開的實施例提出了模型生成方法和裝置、電子設備和計算機可讀介質。

第一方面，本公開的實施例提供了一種模型生成方法，包括：獲取用于執行深度學習任務的第一神經網絡；通過執行多次迭代操作搜索出用于執行深度學習任務的第二神經網絡；其中，迭代操作包括：基于當前的反饋獎勵值對預設的模型結構控制器進行更新，采用更新后的模型結構控制器生成候選神經網絡，其中，候選神經網絡的結構復雜度低于第一神經網絡的結構復雜度，反饋獎勵值的初始值是預設的數值；基于第一神經網絡對候選神經網絡進行蒸餾，確定蒸餾后的候選神經網絡的蒸餾損失函數；基于蒸餾后的候選神經網絡的蒸餾損失函數更新獎勵反饋值；響應于確定獎勵反饋值達到預設的收斂條件或者迭代操作的累計次數達到預設的次數閾值，確定當前迭代操作中得到的蒸餾后的候選神經網絡為搜索出的第二神經網絡。

在一些實施例中，上述采用更新后的模型結構控制器生成候選神經網絡，包括：采用更新后的模型結構控制器從預設的網絡結構搜索空間中確定網絡結構的可變結構參數，生成表征候選神經網絡的結構的編碼序列。

在一些實施例中，上述模型結構控制器包括遞歸神經網絡；以及上述基于當前的反饋獎勵值對預設的模型結構控制器進行更新，包括：基于當前的獎勵反饋值，采用反向傳播算法對遞歸神經網絡的參數進行更新，以使更新后的模型結構控制器生成使得獎勵反饋值增大的候選神經網絡。

在一些實施例中，上述基于當前的反饋獎勵值對預設的模型結構控制器進行更新，包括：基于預設的網絡結構搜索空間生成多個神經網絡模型作為種群，將當前的獎勵反饋值作為當前迭代操作中生成的候選神經網絡在種群中的適應度；基于候選神經網絡在種群的適應度更新模型結構器，以使模型結構器在下一次迭代操作中通過遺傳算法對種群進行進化以生成使得適應度增大的神經網絡模型作為下一次迭代操作的候選神經網絡。

在一些實施例中，上述蒸餾損失函數包括：表征第一神經網絡和候選神經網絡分別提取出的特征之間的差異的第一損失函數；或者蒸餾損失函數包括：第一損失函數以及表征第一神經網絡和候選神經網絡分別對深度學習任務的執行結果之間的差異的第二損失函數。

第二方面，本公開的實施例提供了一種模型生成裝置，包括：獲取單元，被配置為獲取用于執行深度學習任務的第一神經網絡；搜索單元，被配置為通過執行多次迭代操作搜索出用于執行深度學習任務的第二神經網絡；其中，迭代操作包括：