[發明專利]一種基于對抗三元組損失的零樣本知識蒸餾方法及系統

在審

• 申請號: 202210401592.2
• 申請日: 2022-04-18
• 公開（公告）號: CN114972904A
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 付瑩;王子淳
• 申請（專利權）人: 北京理工大學
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/764;G06V10/778;G06V10/82
• 代理公司: 北京正陽理工知識產權代理事務所(普通合伙) 11639
• 代理人: 張利萍

本發明涉及一種基于對抗三元組損失的零樣本知識蒸餾方法及系統，屬于計算機視覺技術領域。本發明提出的距離加權的三元組選擇采樣策略，從學生的特征空間中對三元組表示集進行更優的采樣，只鼓勵所有陽性樣本彼此保持一定距離。通過使用保序回歸，基于邊際的損失關注相對順序，提高圖像生成效率和圖像質量。本方法無需接觸原始訓練集，只需要用戶提供預訓練好的教師模型參數，學生模型的訓練可以自動根據教師模型參數和生成器生成的圖像完成。本發明在不需要特殊設備、具有較快訓練速度和精度的前提下保證生成圖像的多樣性和信息豐富度，提高合成圖像集質量，在保證數據隱私性的情況下訓練高精度的輕量級模型。

技術領域

本發明涉及一種零樣本知識蒸餾方法及系統，具體涉及一種基于對抗三元組損失模型反演的零樣本知識蒸餾方法及系統，屬于計算機視覺技術領域。

背景技術

知識蒸餾(KD)作為一種模型壓縮方法，是一種基于“教師-學生網絡思想”的訓練方法，由于其簡單有效，在工業界被廣泛應用。作為模型壓縮和加速的代表類型，知識蒸餾能夠有效從大型“教師模型”中學習“小型學生模型”，迅速受到行業的關注。

目前，知識蒸餾大多數擴展均集中在壓縮深度神經網絡上，由此產生的輕量級學生網絡可以輕松部署在視覺識別、語音識別、自然語言處理(NLP)等應用程序中。此外，知識蒸餾中的知識，從一種模型到另一種模型的轉移，可以擴展到其他任務，例如對抗攻擊、數據增強、數據隱私和安全性等。通過知識蒸餾的動機進行模型壓縮，知識轉移的思想已被進一步應用于壓縮訓練數據，即數據集蒸餾，將知識從大型數據集轉移到小型數據集，以減輕深度模型的訓練負擔。

模型反演(MI)旨在從預訓練模型的參數重建輸入，最初是為了理解神經網絡的深層表示而提出的。給定函數φ(x)與輸入x的映射，標準模型反演問題可以形式化為求一個x'使d(φ(x),φ(x'))最小，其中d(·,·)是一個誤差函數，如均方誤差。這種范式被稱為模型反演攻擊，廣泛應用于模型安全性和可解釋性等多個領域。近年來，反演技術在知識轉移方面表現出了良好的效果，實現了無數據知識蒸餾。

早期知識蒸餾框架通常包含一個或多個大型的預訓練教師模型和小型的學生模型，教師模型通常比學生模型大得多，主要思想是在教師模型的指導下訓練高效的學生模型以獲得相當的準確性。來自教師模型的監督信號(通常稱為教師模型學到的“知識”)可以幫助學生模型模仿教師模型的行為。

發明內容

本發明的目的是從現有深度學習模型訓練服務對數據隱私性的需求出發，針對傳統知識蒸餾方法成本高、效率低、需要訪問全部數據集的等缺點，以及現有模型反演圖像生成方法只考慮單個樣本的生成損失，無法把握不同類別樣本間的差異性以及相同類別樣本間相似性的問題，創造性地提出一種泛化性好、生成數據質量高的于對抗三元組損失模型反演的零樣本知識蒸餾方法及系統。本方法的生成圖像在特征空間中具有類間相似性以及類內差異性，并且保證訓練的學生模型對類間模型提取的特征差異大于類內特征。

為達到以上目的，本發明采用以下技術方案。

一種基于對抗三元組損失的零樣本知識蒸餾方法，包括預訓練階段、模型反演階段和模型訓練階段。

步驟1：預訓練。

首先將收集好的圖像訓練集進行分類標注，然后選擇合適的卷積神經網絡模型；將訓練集中的所有圖像分批次送入隨機初始化的卷積神經網絡中，計算預測值與真實標簽的交叉熵損失；然后計算卷積神經網絡中各參數相對于損失的梯度，利用隨機梯度下降法更新模型參數得到訓練好的教師模型。

步驟2：模型反演。