[發明專利]學習數據增強策略

在審

• 申請號: 201980014733.1
• 申請日: 2019-05-20
• 公開（公告）號: CN111758105A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 維賈伊·瓦蘇德萬;巴雷特·佐福;埃金·多烏什·丘布克;國·V·勒
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N3/00;G06N3/12;G06N5/00;G06N20/10;G06N20/20
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 周亞榮;鄧聰惠

方法、系統和裝置，包括編碼在計算機存儲介質上的計算機程序，其用于學習用于訓練機器學習模型的數據增強策略。在一個方面，一種方法包括：接收用于訓練機器學習模型以執行特定機器學習任務的訓練數據；確定多個數據增強策略，包括在多個時間步長中的每一個：基于在先前時間步長處生成的數據增強策略的質量度量，生成當前數據增強策略；使用當前數據增強策略，在訓練數據上訓練機器學習模型；以及，在使用當前數據增強策略已經對機器學習模型進行訓練之后，使用該機器學習模型確定當前數據增強策略的質量度量；以及基于所確定的數據增強策略的質量度量，選擇最終數據增強策略。

技術領域

本說明書涉及使用機器學習模型處理數據。

背景技術

機器學習模型接收輸入，并基于所接收的輸入生成輸出，例如，預測輸出。一些機器學習模型是參數模型，并且基于所接收的輸入和模型的參數的值生成輸出。

一些機器學習模型是采用多層模型對所接收的輸入生成輸出的深度模型。例如，深度神經網絡是包括輸出層和一個或多個隱藏層的深度機器學習模型，每個隱藏層將非線性變換應用于所接收的輸入以生成輸出。

發明內容

本說明書描述了一種訓練系統，該訓練系統被實現為一個或多個位置的一個或多個計算機上的計算機程序。

根據第一方面，提供了一種方法，包括接收用于訓練機器學習模型以執行特定機器學習任務的訓練數據。訓練數據包括多個訓練輸入。確定多個數據增強策略，其中，每個數據增強策略都具有多個數據增強策略參數，多個數據增強策略參數定義了在訓練輸入被用來訓練機器學習模型之前變換訓練輸入的過程。

在多個時間步長的每一個處，基于在先前時間步長生成的數據增強策略的質量度量來生成當前數據增強策略。數據增強策略的質量度量表示作為使用數據增強策略訓練機器學習模型的結果的、對特定機器學習任務的機器學習模型的性能。使用當前數據增強策略，在訓練數據上訓練機器學習模型。使用數據增強策略訓練機器學習模型包括：選擇一批訓練數據；根據數據增強策略，通過對該批訓練數據中的訓練輸入進行變換，確定增強后的一批訓練數據；以及基于該增強后的一批訓練數據，調整機器學習模型參數的當前值。在使用當前數據增強策略對機器學習模型進行訓練之后，使用機器學習模型確定當前數據增強策略的質量度量。

基于所確定的數據增強策略的質量度量，選擇最終數據增強策略。通過使用最終數據增強策略訓練最終機器學習模型來生成最終訓練過的機器學習模型。

在一些實施方式中，特定機器學習任務是包括分類或回歸的圖像處理任務。

在一些實施方式中，每個數據增強策略包括一個或多個子策略。每個子策略包括一個或多個變換元組的序列，其中，對于每個變換元組，數據增強策略參數定義：(i)變換操作，以及(ii)變換操作的大小。根據數據增強策略，對一批訓練數據中的訓練輸入進行變換包括對于每個訓練輸入：識別數據增強策略中包括的子策略；以及通過將所識別的子策略中包括的每個變換元組依次地應用于訓練輸入，來根據所識別的子策略變換訓練輸入。

在一些實施方式中，為訓練輸入識別在數據增強策略中包括的子策略包括隨機地采樣在數據增強策略中包括的子策略。

在一些實施方式中，將變換元組應用于訓練輸入包括：將變換元組中的變換操作以變換元組中的變換操作大小來應用于訓練輸入。

在一些實施方式中，對于每個變換元組，數據增強策略參數進一步定義應用變換操作的概率；以及將變換元組應用于訓練輸入包括：以變換元組中的變換概率，將變換元組中的變換操作以變換元組中的變換操作大小來應用于訓練輸入。

在一些實施方式中，機器學習模型是神經網絡，以及基于增強后的一批訓練數據來調整機器學習模型參數的當前值包括：使用增強后的一批訓練數據確定損失函數的梯度：以及使用梯度來調整機器學習模型參數的當前值。