[發明專利]優化器學習的方法、裝置、電子設備和可讀存儲介質

在審

• 申請號: 202010625746.7
• 申請日: 2020-07-01
• 公開（公告）號: CN112001489A
• 公開（公告）日: 2020-11-27
• 發明（設計）人: 方曉敏;王凡;莫也蘭;何徑舟
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06N3/063
• 代理公司: 北京鴻德海業知識產權代理事務所(普通合伙) 11412
• 代理人: 田宏賓

本申請公開了一種優化器學習的方法、裝置、電子設備和可讀存儲介質，涉及深度學習技術領域。本申請在進行優化器學習時所采用的實現方案為：獲取訓練數據，所述訓練數據中包含多個數據集，每個數據集包含神經網絡的屬性信息、神經網絡的優化器信息以及優化器的參數信息；將各數據集中的神經網絡的屬性信息以及神經網絡的優化器信息作為輸入，將各數據集中的優化器的參數信息作為輸出，訓練元學習模型，直至所述元學習模型收斂。本申請能夠實現優化器的自適應，從而提高優化器的泛化能力。

技術領域

本申請涉及人工智能技術領域，尤其涉及深度學習技術領域中的一種優化器學習的方法、裝置、電子設備和可讀存儲介質。

背景技術

深度神經網絡是機器學習中常用的方法，近年來被廣泛應用于各個領域。深度神經網絡的訓練過程需要使用優化器(optimizer)使得網絡收斂，即使用優化器更新網絡參數找到網絡的最優點。因此，優化器直接影響網絡的收斂速度和訓練效果，較慢的收斂速度會增加計算資源的消耗。

現有技術通常包含基于人工經驗的優化器和基于模型的優化器。其中，基于人工經驗的優化器無法根據不同的任務和不同的網絡結構來做適配，且需要耗費人力物力在訓練的不同階段調整優化器中的參數；基于模型的優化器雖然能做一定程度的適配，但其僅能夠針對某種固定或者相近的網絡結構和相同類型的任務進行適配，而對于不同網絡結構和不同類型的任務不具有泛化能力。

發明內容

本申請為解決技術問題所采用的技術方案是提供一種優化器學習的方法，包括：獲取訓練數據，所述訓練數據中包含多個數據集，每個數據集包含神經網絡的屬性信息、神經網絡的優化器信息以及優化器的參數信息；將各數據集中的神經網絡的屬性信息以及神經網絡的優化器信息作為輸入，將各數據集中的優化器的參數信息作為輸出，訓練元學習模型，直至所述元學習模型收斂。

本申請為解決技術問題所采用的技術方案是提供一種優化器學習的裝置，包括：獲取單元，用于獲取訓練數據，所述訓練數據中包含多個數據集，每個數據集包含神經網絡的屬性信息、神經網絡的優化器信息以及優化器的參數信息；訓練單元，用于將各數據集中的神經網絡的屬性信息以及神經網絡的優化器信息作為輸入，將各數據集中的優化器的參數信息作為輸出，訓練元學習模型，直至所述元學習模型收斂。

一種電子設備，其特征在于，包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行上述方法。

一種存儲有計算機指令的非瞬時計算機可讀存儲介質，其特征在于，所述計算機指令用于使所述計算機執行上述方法。

上述申請中的一個實施例具有如下優點或有益效果：本申請能夠實現優化器的自適應，提升優化器的泛化能力。因為采用了通過建立元學習模型對具有不同屬性信息以及優化器信息的神經網絡的優化器的參數進行學習的技術手段，所以克服了現有技術中的優化器無法適配不同網絡結構和不同類型任務的神經網絡的技術問題，實現了優化器的自適應以及提升優化器的泛化能力的技術效果。

上述可選方式所具有的其他效果將在下文中結合具體實施例加以說明。

附圖說明

附圖用于更好地理解本方案，不構成對本申請的限定。其中：

圖1是根據本申請第一實施例的示意圖。

圖2是根據本申請第二實施例的示意圖。

圖3是用來實現本申請實施例的優化器學習的方法的電子設備的框圖。

具體實施方式