[發明專利]用于提供具有可調節計算需求的機器學習模型的系統和方法

在審

• 申請號: 201980056728.7
• 申請日: 2019-09-19
• 公開（公告）號: CN112868033A
• 公開（公告）日: 2021-05-28
• 發明（設計）人: M.沙里夫;A.沙馬;A.莫德文特西夫
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06F9/50;G06N3/08
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 金玉潔

公開了一種計算設備，該計算設備包括至少一個處理器和機器學習模型。機器學習模型可以包括多個塊和所述多個塊中的兩個或跟多個塊之間的一個或多個殘差連接。機器學習模型可以配置為接收模型輸入，并且響應于模型輸入的接收，輸出模型輸出。機器學習模型可以被配置為執行操作，操作包括確定資源分配參數，該資源分配參數與在推理時間對機器學習模型的系統資源的期望分配相對應；基于資源分配參數停用機器學習模型的多個塊的子集；將模型輸入輸入到多個塊的子集被停用的機器學習模型中；以及接收模型輸出作為機器學習模型的輸出。

相關申請

本申請要求于2018年10月1日提交的第62/739584號美國臨時專利申請的優先權和利益。通過引用第62/739584號美國臨時專利申請的全部內容將其合并于此。

技術領域

本公開一般涉及機器學習模型。更具體地，本公開涉及用于提供具有可調節計算需求的機器學習模型的系統和方法。

背景技術

設備上機器學習模型已經變得更加普遍。例如，深度神經網絡已經部署在“邊緣”設備上，諸如移動電話、嵌入式設備、其他“智能”設備或其他資源受限的環境。當與基于云的配置相比校時，這樣的設備上模型可以提供包括減少延遲和改進隱私的好處，在基于云的配置中，機器學習模型被遠程存儲和訪問，例如，在經由廣域網訪問的服務器中。

然而，這種邊緣設備的計算資源可以顯著變化。此外，對于特定設備，在給定時間用于執行這樣的設備上機器學習模型的可用計算資源量可以基于各種因素而變化。因此，設備上機器學習模型可能表現出差的性能，諸如增加的時延或延遲，和/或要求次優的設備資源分配。

發明內容

本公開的實施例的方面和優點將在下面的描述中部分闡述，或者可以從描述中獲知，或者可以通過實施例的實踐獲知。

本公開的一個示例方面針對計算設備。計算設備可以包括至少一個處理器和機器學習模型。機器學習模型可以包括多個塊和所述多個塊中的兩個或更多個塊之間的一個或多個殘差連接。機器學習模型可以被配置為接收模型輸入，并且響應于模型輸入的接收，輸出模型輸出。機器學習模型可以包括至少一個有形的、非瞬時性的計算機可讀介質，該計算機可讀介質存儲當由至少一個處理器執行時使得至少一個處理器執行操作的指令。操作可以包括確定資源分配參數，資源分配參數與在推理時間對機器學習模型的系統資源的期望分配相對應。操作可以包括基于資源分配參數停用機器學習模型的多個塊的子集。操作可以包括將模型輸入輸入到多個塊的子集被停用的機器學習模型中，并且接收模型輸出作為機器學習模型的輸出。

本公開的另一示例方面針對減少與機器學習模型相關聯的計算成本的計算機實施的方法。該方法可以包括由一個或多個計算設備確定資源分配參數，資源分配參數描述在推理時間對機器學習模型的系統資源的期望分配。該方法可以包括由一個或多個計算設備基于資源分配參數停用機器學習模型的多個塊的子集。該方法可以包括由一個或多個計算設備將輸入集輸入到機器學習模型中，并且由一個或多個計算設備接收輸出集作為機器學習模型的輸出。

本公開的另一示例方面針對用于將機器學習模型訓練為針對在推理時間停用機器學習模型的神經網絡的多個塊中的至少一些塊是魯棒的方法。該方法可以包括由一個或多個計算設備使用訓練數據集迭代地訓練機器學習模型。該方法可以包括在機器學習模型的迭代訓練的至少一次迭代之前，由一個或多個計算設備停用機器學習模型的多個塊的迭代特定子集。

本公開的其他方面針對各種系統、裝置、非瞬時性計算機可讀介質、用戶接口和電子設備。

參考以下描述和所附權利要求，將更好地理解本公開的各種實施例的這些和其他特征、方面和優點。并入本說明書并構成本說明書一部分的附圖示出本公開的示例實施例，并且與說明書一起用于解釋相關原理。

附圖說明

說明書中參考附圖闡述了針對本領域普通技術人員的實施例的詳細討論，其中：