[發明專利]用于創建機器學習系統的方法、設備和計算機程序

在審

• 申請號: 202010534270.6
• 申請日: 2020-06-12
• 公開（公告）號: CN112085207A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: F.胡特爾;A.澤拉;T.埃爾斯肯;T.布洛克斯;T.賽基亞;Y.馬拉奇
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06N3/08
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 姬亞東;申屠偉進

本發明涉及一種用于創建機器學習系統的方法，包括以下步驟。根據第一成本函數（英語：loss function，損失函數）對第一參數集進行迭代優化，并且根據第二成本函數對第二參數集進行迭代優化。根據所述第一參數集確定所述第一成本函數的Hesse矩陣的特征值。當所述特征值之一大于可預給定的閾值時，中斷所述優化。本發明還涉及一種計算機程序，一種用于執行該方法的設備以及一種機器可讀存儲元件，其上存儲有所述計算機程序。

技術領域

本發明涉及一種用于創建機器學習系統的方法。本發明同樣涉及一種設備和一種計算機程序，它們分別被設計用于執行所述方法。技術領域

Liu，Hanxiao，Karen Simonyan和Yiming Yang的“DARTS: Differentiablearchitecture search（DARTS：可微分體系架構搜索）”，arXiv預印本arXiv：1806.09055（2018）公開了一種借助于梯度下降方法來優化神經網絡的體系架構的方法。

發明優點

已經觀察到，已知方法不能目的明確地優化機器學習系統的一定體系架構。這可能導致所述機器學習系統對訓練數據的差的性能。

而具有獨立權利要求1的特征的方法具有以下優點：如果對體系架構的優化朝錯誤的方向發展并且沒有目的明確地運轉，則及早識別。由此可以實現對所述體系架構的更魯棒的優化。

發明內容

在第一方面，提出了一種用于創建機器學習系統的、特別是計算機實現的方法。第一參數集表征所述機器學習系統的體系架構，并且第二參數集對應于所述機器學習系統的參數化。所述方法包括以下步驟：首先根據第一成本函數（英語：loss function，損失函數）對所述第一參數集進行迭代優化，并且根據第二成本函數對所述第二參數集進行迭代優化。這兩個參數集的迭代優化可以交替地進行。接下來是關于所述第一參數集確定所述第一成本函數的Hesse矩陣的特征值。接下來當特征值之一大于可預給定的閾值時，中斷所述優化。替代地，可以選擇一個標準作為閾值，所述標準取決于多個特征值或所有特征值。

所述Hesse矩陣是這樣一個矩陣，其在多維實數分析中是函數的二階導數的模擬（Analogon）。為了確定所述特征值的近似，可以在多個隨機抽取的訓練數據上評估第一成本函數。優選地，為此根據隨機抽取的訓練數據批量（英語：mini-batch，小批量）來確定所述第一成本函數。可以在優化第一和第二參數集的每個迭代步驟之后或在可預給定數量的迭代步驟之后確定所述特征值。

所述機器學習系統的體系架構理解為所述機器學習系統的結構。所述機器學習系統的結構可以包括多個層或單元，每個層或單元具有多個（激活）功能。

迭代優化可以理解為重復優化。在此，為每個迭代步驟提出改變了的解，使得該解逐步接近最優解。為此，連續執行優化步驟多次。當滿足特征值之一大于所述閾值的條件時，或者當滿足所述成本函數已達到可預給定函數值的條件時，或者當達到優化步驟的預給定重復次數時，結束所述優化。然后可以結束所述優化或體系架構搜索，也就是至少輸出所述第一參數集。接下來可以根據輸出的第一參數集對所述機器學習系統進行初始化并根據所述第二參數集對所述機器學習系統進行參數化。也可以設想的是，在超過所述閾值之后再次從頭開始所述方法，或者從先前的迭代步驟處的先前確定的參數集開始繼續迭代優化。還可以設想的是，在中斷所述優化之后，至少輸出在超過所述閾值之前確定的所述第一參數集，特別是選擇所屬的體系架構。

例如，借助于梯度下降方法進行所述迭代優化。優選地，為此使用針對DARTS提出的梯度下降方法。成本函數可以理解為所述機器學習系統的所確定的輸出變量與預給定的訓練輸出變量之間的差異或偏差。所述訓練輸出變量分別與訓練輸入變量關聯。這些訓練輸入變量由所述機器學習系統處理并作為輸出變量輸出。