[發明專利]使用預訓練的特征提取器訓練蒸餾的機器學習模型

在審

• 申請號: 202210486139.6
• 申請日: 2022-05-06
• 公開（公告）號: CN115311486A
• 公開（公告）日: 2022-11-08
• 發明（設計）人: M.季;E.S.小沃克;Y.宋;Z.郭;C.李
• 申請（專利權）人: 偉摩有限責任公司
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/82;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 金玉潔

公開了使用具有預訓練的特征提取器的教師機器學習模型來訓練學生機器學習模型的方法、系統和裝置，包括編碼在計算機存儲介質上的計算機程序。在一個方面，方法包括獲得指定被配置為執行機器學習任務的教師機器學習模型的數據；獲得第一訓練數據；在第一訓練數據上訓練教師機器學習模型，以獲得訓練的教師機器學習模型；通過使用訓練的教師機器學習模型處理未標記的訓練數據，生成第二自動標記的訓練數據；以及至少使用第二自動標記的訓練數據，訓練學生機器學習模型以執行機器學習任務，其中，所述學生機器學習模型不包括預訓練的特征提取器，而是包括具有比預訓練的特征提取器更少的參數的不同的特征提取器。

技術領域

本說明書涉及訓練機器學習模型，例如用于部署機載自主載具。

背景技術

自主載具包括自駕駛小汽車、船只和飛行器。自主載具使用各種機載傳感器和計算機系統來檢測附近的對象及其相應特性(定位、形狀、航向、速度等)，并使用這樣的檢測來進行控制和導航決策。

一些自主載具具有實現用于傳感器數據內的對象檢測或分類的神經網絡的計算機系統。

機器學習模型接收輸入，并且基于接收的輸入以及基于模型的參數值生成輸出。例如，機器學習模型可以接收圖像并為一組類中的每個類生成分數，其中，給定類的分數表示圖像包含屬于該類的對象的圖像的概率。

機器學習模型可以由例如單級(single level)的線性或非線性操作組成，或者可以是深度網絡，即由多級(multiple levels)組成的機器學習模型，其中一個或多個級可以是非線性操作的層(layer)。深度網絡的示例是具有一個或多個隱藏層的神經網絡。

發明內容

本說明書總體上描述了實現為在一個或多個位置的一個或多個計算機上的一個或多個計算機程序的系統，其使用教師機器學習模型(或，簡稱“教師模型”)來訓練學生機器學習模型(或，簡稱“學生模型”)以執行第一機器學習任務。

在訓練學生機器學習模型以執行第一項任務期間，系統使用基準真實(groundtruth)輸出和由已經訓練的教師機器學習模型生成的教師輸出二者。

特別地，教師機器學習模型是具有已作為不同的機器學習模型的一部分進行了預訓練的特征提取器的機器學習模型，不同的機器學習模型例如通過訓練被配置為執行不同的第二機器學習任務。也就是說，教師機器學習模型的一部分可以根據不同的機器學習模型的已知架構和不同機器學習模型的已知(例如，訓練的)參數值來實例化。

例如，第一機器學習任務可以是對象分類或檢測任務，其中教師或學生機器學習模型可以通過處理包括視覺數據(諸如圖像或點云數據)的輸入來執行任務，以生成分類或檢測輸出，并且第二機器學習任務可以是各種圖像理解任務中的任何任務。不同圖像理解任務的要求和細節可能會有所變化，但是典型地，由不同機器學習模型執行圖像理解任務可以包括處理包括圖像數據的輸入，以識別或定位圖像數據的給定組的性質或其他更高級別(level)的特征。作為一個特定示例，第二任務可以是預測不同圖像相對于某些給定文本(例如，接收的搜索查詢)的相關性的任務。作為另一特定示例，第二任務可以是識別圖像數據中存在的一個或多個對象的位置的對象定位任務(而無需分類一個或多個對象)。

一般，特征提取器被配置為處理第二機器學習任務的輸入、從輸入導出的數據或兩者以生成輸入的嵌入，并且第二機器學習模型可以通過從由特征提取器生成的嵌入生成針對第二任務的輸出來執行不同的任務。在本說明書中，嵌入(embedding)是表示特定嵌入空間中的輸入的數值(numeric value)的有序集合。例如，嵌入可以是具有固定維度的浮點或其他數值的數據結構(例如，向量)。

可以實現本說明書中描述的主題的特定實施例以實現以下優點中的一個或多個。