[發明專利]用于創建自動創建機器學習系統的系統的方法和設備

在審

• 申請號: 202110777133.X
• 申請日: 2021-07-09
• 公開（公告）號: CN113989801A
• 公開（公告）日: 2022-01-28
• 發明（設計）人: M·林道爾;A·澤拉;D·斯托爾;F·費雷拉;F·哈特;T·尼爾霍夫
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G06V20/70
• 分類號: G06V20/70;G06V10/764;G06V20/58;G06K9/62;G06N5/00
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 張濤;劉春元

用于創建系統的計算機實現的方法，所述系統適合于為基于計算機的視覺自動創建機器學習系統，所述方法包括以下步驟：提供預給定的超參數。借助于BOHB（貝葉斯優化（BO）和超頻帶（HB）的縮寫）為多個不同訓練數據集確定所述超參數的最優參數化。借助于標準化度量評估對所述多個不同訓練數據集的所有訓練數據集的所有最優參數化。創建矩陣，其中所述矩陣具有針對每個參數化和每個訓練數據集的經過評估的標準化度量。確定每個訓練數據集的元特征（英語：meta?features）。優化決策樹，所述決策樹根據所述元特征和所述矩陣使得所述決策樹輸出借助于BOHB確定的最優參數化中的哪個是適合于給定元特征的參數化。

技術領域

本發明涉及一種創建系統的方法，所述系統適用于為基于計算機的視覺自動創建機器學習系統，本發明還涉及對應的計算機程序和機器可讀存儲介質。

背景技術

當前機器學習面臨的挑戰是，針對每個訓練數據集必須重新地并且基于專家的假設和經驗設置機器學習算法的超參數化。因為如果沒有這樣的設置，學習算法就收斂到非最優解或者甚至找不到解。這是非常不利的，因為此外通過手動設置很少能實現超參數的最優參數化。由此，用超參數學習的機器學習系統出現明顯的性能損失。

存在一些方案試圖克服這些缺點，并且例如借助于機器學習方法確定給定訓練數據集的最優超參數，例如Falkner、Stefan、Aaron Klein和Frank Hutter的“BOHB：Robustand efficient hyperparameter optimization at scale”（BOHB：強大且高效的超參數大規模優化），arXiv預印本arXiv：1807.01774(2018)，可在線獲取：https://arxiv.org/abs/1807.01774。

然而，這些方案的缺點是其發現的超參數化只能有條件地使用，并且對于相似的數據集也不是最優或可靠的，所述相似的數據集例如具有不同數量的類別或例如包含來自相似域或相似分類問題的圖像。

本發明的優點

相比之下，本發明的優點在于其提供了一種用于獨立于域地自動和最優地參數化機器學習算法的方法以及相關聯的機器學習系統。因此，利用本發明可以自動訓練機器學習系統，其中該學習算法能夠可靠地應用于大量不同的數據集，并且例如無論對象類別和/或訓練圖像或訓練視頻的數量如何都實現最優結果。

發明內容

在第一方面，本發明涉及一種用于創建系統的計算機實現的方法，所述系統適合于為基于計算機的視覺（英語：Computer Vision，CV）自動創建機器學習系統。

基于計算機的視覺可以理解為機器學習系統被設置為以最多樣化的方式處理和分析由任何類型的相機記錄的圖像、視頻等。例如，這可以是圖像的分類或對象探測或語義分割。

所述方法包括以下步驟：

提供預給定的超參數，特別是定義每個預給定超參數的值范圍。這些超參數可以是非常不同的參數，并且通常對優化算法、特別是訓練算法參數化，或者將超參數的值分別分配給來自多個非常不同的優化算法中的一種優化算法。所述超參數包括表征使用哪種優化方法的至少一個第一參數。所述優化方法可以是隨機優化器（英語：stochasticoptimizer），例如Adam、AdamW或Nesterov加速梯度。

所述超參數還包括表征所述機器學習系統是哪種類型、特別是所述機器學習系統使用哪些函數逼近器的第二參數。例如，可以使用以下類型：（優選經過預訓練的）EfficientNet或簡單的分類器，如SVM、不相關決策森林（英語：random forest，隨機森林）、深度神經網絡或邏輯回歸。