[發明專利]一種深度學習中超參數的優化選取方法

在審

• 申請號: 201810282510.0
• 申請日: 2018-04-02
• 公開（公告）號: CN108470210A
• 公開（公告）日: 2018-08-31
• 發明（設計）人: 曹連雨
• 申請（專利權）人: 中科弘云科技（北京）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種深度學習中超參數的優化選取方法，其特征在于：所述方法的整體步驟為：

步驟1、定義n個待訓練模型；每個訓練模型設置為一種超參數h的配置組合，利用并行計算，同時進行模型訓練；

步驟2、將模型訓練過程中變化的模型參數記為θ；定義函數eval以當前θ的值來評估模型的優劣，eval(θ)越大表示模型越好，則模型學習的過程理解為求eval(θ|h)的最大值；

對每個并行計算的模型，隨機選取數個θ的值θ₁、θ₂...θ_m,計算得出相應的eval(θ₁|h)，eval(θ₂|h)...eval(θ_m|h)；其中(θ₁，eval(θ₁|h))(θ₂，eval(θ₂|h))(θ_m，eval(θ_m|h))構成的點稱為先驗點；假設這些點服從多變量高斯分布；

步驟3、根據多變量高斯分布的性質，計算這些點中每一個點的均值和方差，再通過最大化收獲函數來預估可能的使eval(θ|h)最大的θ取值；

步驟4、得到下一采樣點θ_t后，計算eval(θ|h)；若此時eval(θ|h)滿足精度要求則結束所有的模型訓練，輸出此時的eval(θ|h)、θ、h；步驟3～4為一個循環，每進行一次循環稱為該模型訓練了一步，將訓練步數記為step；

步驟5、如果此時的step數滿足預設條件則進入步驟6，否則回到循環進行步驟3；若此時的step達到預設的上限，則直接結束所有訓練，輸出所有模型eval(θ|h)中最大的θ、h；

步驟6、計算當前所有并行計算模型的eval(θ|h)，并將其從大到小排序，選取前30％定義為優質，后30％定義為劣質；此處30％為經驗參數，可根據實際情況做出調整；

步驟7、對每一個劣質模型進行淘汰操作；

步驟8、對每一個完成淘汰操作的劣質模型，立即進行進化操作；

步驟9、完成步驟6～步驟8后，回到步驟3，進行下一個循環。

2.根據權利要求1所述的深度學習中超參數的優化選取方法，其特征在于：所述步驟3中選用的最大化收獲函數為：

式中為權重系數。

3.根據權利要求2所述的深度學習中超參數的優化選取方法，其特征在于：所述步驟4中的預設條件為：step是某個整數的倍數，根據訓練模型的實際情況通常取4～10。

4.根據權利要求3所述的深度學習中超參數的優化選取方法，其特征在于：所述步驟7中淘汰操作的具體過程為：隨機選取一個優質模型，復制其當前的θ以及預設的h參數，完成后，該劣質模型完全等同于復制的優質模型。

5.根據權利要求4所述的深度學習中超參數的優化選取方法，其特征在于：所述步驟8中進化操作的具體過程為：對θ和h施加微小的擾動，增加或減小一個比較小的數，通常是當前值的-10％～10％之間。