[發明專利]一種用于圖像檢索的雙重知識蒸餾方法

有效

• 申請號: 202110657910.7
• 申請日: 2021-06-15
• 公開（公告）號: CN113255822B
• 公開（公告）日: 2021-11-05
• 發明（設計）人: 張雪毅;陳偉;王維平;白亮;劉忠;劉麗
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08;G06F16/55;G06F16/53
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 曾志鵬

本發明公開了一種用于圖像檢索的雙重知識蒸餾方法，該方法提出了由兩個專業教師模型和一個學生模型組成的雙重知識蒸餾(DKD)框架。兩個專業教師模型分別是固定教師模型和動態教師模型。固定教師模型在前數據集的基礎上接受訓練，然后固定這些數據集的參數，以便轉移之前學到的知識，使這些知識在新的任務學習中發揮作用。動態教師模型用來在新數據集的樣本上與學生模型共同接受訓練，負責學習新知識，是提高學生模型泛化能力的輔助模范。本發明還通過固定教師模型在BatchNorm層中存儲的統計數據來生成舊數據集的代表性圖像。本發明能逐步將已獲得的知識轉移到新任務中，同時對舊任務的遺忘率最小化。

技術領域

本發明屬于圖像檢索領域，具體是涉及到一種用于圖像檢索的雙重知識蒸餾方法。

背景技術

自深度學習出現以來，圖像檢索在文獻中得到了廣泛的探索。現有的檢索工作通常注重提高網絡的泛化能力，并假設目標數據集是平穩和固定的。然而，這個假設在許多現實世界的場景是不可行的，因為現實的環境是不穩定的。為此，提出了終身學習，使得深度網絡能學習連續性的任務并適應流數據。終身學習系統的主要挑戰是克服打擊性的遺忘，和學習新數據時產生的對于舊數據獲得的綜合知識的干擾。

知識蒸餾可以通過將學習到的信息從一個訓練過的網絡(即教師模型)轉移到一個新的網絡(即學生模型)來減少遺忘。對于圖像分類、目標檢測、圖像生成等各種分類的任務，其有效性已經得到了很好的研究。

發明內容

目前，知識蒸餾在圖像檢索效率方面的研究仍然較少。首先，深度模型會學習不同的任務的增量檢索，而訓練之間的語義漂移將會導致這些任務之間的相關性很弱，如圖1中的鳥、狗和汽車就是一組相關性極弱的任務的例子。因此，知識蒸餾并不能有效地防止跨任務的流數據的遺忘。第二，當模型學習新任務時，任務之間的弱相關性會導致模型參數的顯著更新。圖像檢索對特征之間的匹配非常敏感。因此，特征的微小變化也將對特征匹配產生重大影響。輸出特性的變化使將遺忘最小化變得更加困難。第三，傳統知識蒸餾的工作框架更加注重在教師模型網絡中的知識的保存。這可能會很難在最小化遺忘率和提高網絡檢索泛化能力之間尋求最佳平衡。

為了將遺忘率最小化，同時提高泛化性能，本發明提出了一種用于圖像檢索的雙重知識蒸餾方法，包括由兩個專業教師模型和一個學生模型組成的雙重知識蒸餾框架，如圖2所示，其中，兩個專業教師模型分別是固定教師模型和動態教師模型。在訓練任務t之前，固定教師模型在前任務的基礎上接受訓練，然后固定其參數，并對全連接層嵌入的D維特征進行知識蒸餾；在學生模型學習任務t時，使用固定教師BatchNorm層中存儲的統計數據來生成樣本，作為前任務的代表，來減少對前一任務的遺忘，學生模型的參數從固定教師模型上復制，其訓練方案與固定教師模型一致；動態教師模型與學生模型共同接受訓練，進行輔助知識蒸餾來提高學生模型對新任務的泛化能力。本發明中使用三元組損失函數作為基本約束來訓練模型。

在訓練任務t之前，已經對固定教師模型進行了前任務(t?1)的訓練，并確定了其參數。對學生模型進行新任務t的訓練會導致負向遷移，這可能會降低前一個任務的性能，知識蒸餾通過使用固定教師模型可以防止這種問題。如圖2所示，利用固定教師模型對全連通層中嵌入的D維特征進行知識蒸餾，公式為，其中N為mini batch的大小。同樣，來自學生模型的特征表示為,從固定教師模型和學生模型中進行特征提取時，語義相似的輸入能產生相似的模式。因此，采用帶有核函數的Gram矩陣來度量特征相關性。

K(·)為內積，即。中的每一項表示同一激活(i=j)或不同激活(i≠ j)之間的相關性。本發明使用Kullback-Leibler (KL)散度來表征和，由Softmax函數歸一化。因此，將固定教師模型的知識蒸餾損失寫成，用一個因子加權: