[發明專利]用于模型蒸餾的方法和裝置

有效

• 申請號: 202011473800.7
• 申請日: 2020-12-15
• 公開（公告）號: CN112561059B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 楊馥魁
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06N3/09
• 分類號: G06N3/09
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請公開了用于模型蒸餾的方法和裝置，涉及人工智能技術領域，具體涉及深度學習和計算機視覺技術領域。具體實施方式包括：利用教師模型和學生模型，得到教師模型對應的特征和學生模型對應的特征；確定教師模型對應教師類別中心，并確定學生模型對應的學生類別中心；利用教師類別中心，監督與教師類別中心的類別相同的學生類別中心，得到訓練后模型。本申請可以通過教師模型的特征中心，對學生模型的特征中心進行監督，以豐富模型的蒸餾方式。同時，可以提高蒸餾后的模型對不同類別目標的檢測精度和檢測速度。進一步地，有助于降低執行設備的延時，減少內存等計算資源的占用和消耗。

技術領域

本申請涉及人工智能技術領域，具體涉及深度學習和計算機視覺技術領域，尤其涉及用于模型蒸餾的方法和裝置。

背景技術

模型蒸餾技術是采用一個已經訓練好的教師模型，監督學生模型進行訓練的過程。教師模型通常具有某種預測能力，比如針對某一種目標有很強的預測能力。舉例來說，可以是針對人臉的檢測能力，或者針對特殊形狀的檢測能力等等。

這樣，通過模型的蒸餾可以讓學生模型具有教師模型的預測功能。因此，模型蒸餾技術是一種常用的模型壓縮方法。

發明內容

提供了一種用于模型蒸餾的方法、裝置、電子設備以及存儲介質。

根據第一方面，提供了一種用于模型蒸餾的方法，包括：利用教師模型和學生模型，提取目標圖像的特征，得到教師模型對應的特征和學生模型對應的特征；根據教師模型對應的特征中各個類別的特征的特征中心，確定教師類別中心，并根據學生模型對應的特征中各個類別的特征的特征中心，確定學生類別中心；利用教師類別中心，監督與教師類別中心的類別相同的學生類別中心，以訓練學生模型，得到訓練后模型。

根據第二方面，提供了一種用于模型蒸餾的裝置，包括：提取單元，被配置成利用教師模型和學生模型，提取目標圖像的特征，得到教師模型對應的特征和學生模型對應的特征；確定單元，被配置成根據教師模型對應的特征中各個類別的特征的特征中心，確定教師類別中心，并根據學生模型對應的特征中各個類別的特征的特征中心，確定學生類別中心；訓練單元，被配置成利用教師類別中心，監督與教師類別中心的類別相同的學生類別中心，以訓練學生模型，得到訓練后模型。

根據第三方面，提供了一種電子設備，包括：一個或多個處理器；存儲裝置，用于存儲一個或多個程序，當一個或多個程序被一個或多個處理器執行，使得一個或多個處理器實現如用于模型蒸餾的方法中任一實施例的方法。

根據第四方面，提供了一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現如用于模型蒸餾的方法中任一實施例的方法。

根據第五方面，提供了一種計算機程序產品，包括計算機程序，所述計算機程序在被處理器執行時實現如用于模型蒸餾的方法中任一實施例的方法。

根據本申請的方案，可以通過教師模型的特征中心，對學生模型的特征中心進行監督，以豐富模型的蒸餾方式。同時，分別對不同類別進行有針對性的監督，可以讓蒸餾后的學生模型對各類目標有準確的預測能力，從而提高蒸餾后的模型對不同類別目標的檢測精度和檢測速度。進一步地，有助于降低執行設備的延時，減少內存等計算資源的占用和消耗。

附圖說明

通過閱讀參照以下附圖所作的對非限制性實施例所作的詳細描述，本申請的其它特征、目的和優點將會變得更明顯：

圖1是本申請一些實施例可以應用于其中的示例性系統架構圖；

圖2是根據本申請的用于模型蒸餾的方法的一個實施例的流程圖；

圖3是根據本申請的用于模型蒸餾的方法的一個應用場景的示意圖；

圖4是根據本申請的用于模型蒸餾的方法的又一個實施例的流程圖；

圖5是根據本申請的用于模型蒸餾的裝置的一個實施例的結構示意圖；