[發明專利]基于單張源域樣本的新場景人臉識別模型構建方法、系統

有效

• 申請號: 202011216042.0
• 申請日: 2020-11-04
• 公開（公告）號: CN112329617B
• 公開（公告）日: 2022-10-21
• 發明（設計）人: 雷震;朱翔昱;劉浩
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06N3/04;G06N3/08
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發明提供了一種基于單張源域樣本的新場景人臉識別模型構建方法、系統。本發明方法包括：基于源域圖像樣本構成的第一樣本集訓練人臉識別模型得到第一模型；基于第一模型對第一樣本集進行樣本特征提取，對各類樣本分別基于距離其類別中心的預設距離選取一個源域圖像樣本作為保留樣本加入目標域樣本集，得到第二樣本集；基于第一模型對第二樣本集中各樣本進行特征提取，分別計算第二樣本集中各類樣本的類別特征模板，并擴展到第一模型的分類層中，得到第二模型；基于第二樣本集，通過硬標簽和軟標簽的共同約束訓練第二模型，得到新場景人臉識別模型。本發明解決了人臉識別方法在應對新場景數據時存在的災難性遺忘性問題，并減少了訓練時間。

技術領域

本發明屬于人臉識別領域，具體涉及一種基于單張源域樣本的新場景人臉識別模型構建方法、系統。

背景技術

在目前大多數的人臉識別方法中，基本都是單個場景下的數據進行的理論研究。然而在實際情況中，常常面對的是眾多特定場景下的人臉識別問題。為了解決這一問題，通常的方法是需要針對每個特定的場景來訓練得到專門針對該場景的人臉識別模型。這種多模型的方式顯然十分費時費力。那么如何使用一個模型就能快速應對不同的場景就是本發明所要解決的問題。為此，之前常用的方法一是直接使用目標域場景的數據在源域的模型下進行微調，但是這會使得最終的模型在源域場景下的識別性能急劇下降，即災難性遺忘現象。另一種方法是采用全部的源域數據和目標域數據進行聯合訓練。這樣雖然能夠保證源域和目標域的性能都很高，但是會消耗大量的訓練時間和數據存儲空間。因為每當遇到一個新的場景時，就需要重新使用之前場景的所有數據和當前目標場景的新數據來從頭訓練模型才能保證最終的模型在各個場景下的性能都很高。因此，如果通過保留一定數量的源域樣本便可能既達到保留源域性能的目的又可節省訓練時間且只需少量數據存儲空間?？紤]到實際的人臉識別數據一般擁有大規模的類別，如果每個類別保留過多樣本，同樣仍會消耗較大的數據存儲空間，因此，如果要求源域每個類別只保留單樣本就能夠達到既保留源域性能又節省訓練時間和數據存儲空間的目的。這時，對于如何選擇每類保留的單樣本就是問題的關鍵點，畢竟單樣例相比多樣例具有明顯的信息局限性，因此更需要選擇那些對于之后目標域訓練更具價值、能夠更多地保留源域信息的樣本。

為了解決上述問題，本發明提出了一種單張源域樣例的新場景快速匹配且防遺忘的人臉識別方法，在僅保留源域每類一張樣例的情況下，來讓模型能夠快速的適配新場景的同時，還能保證之前的源域場景的識別性能基本不下降。

本方法主要提出了三個單元來使得模型不僅能快速提高新場景下的識別性能，同時能保留之前場景的識別性能基本不下降。在樣例選擇單元提出了一種新的基于裕量的樣例選擇方法，在分類層擴展單元提出了基于樣本質量因子的類別模板擴展方案。在知識蒸餾單元使用硬標簽和軟標簽的兩種監督信號來對模型進行訓練。本方法可以較為高效地應對不斷出現的新場景，使得模型能夠快速提高新場景下的識別性能，同時保留之前場景下的識別性能基本不下降。

發明內容

為了解決現有技術中的上述問題，即為了解決現有人臉識別方法在應對新場景數據時存在災難性遺忘、訓練時間長的問題，本發明的一方面提出了一種基于單張源域樣本的新場景人臉識別模型構建方法，包括以下步驟：

步驟S100，基于第一樣本集進行人臉識別模型的訓練，得到第一模型；所述第一樣本集為源域圖像樣本集；所述人臉識別模型基于神經網絡構建；

步驟S200，基于所述第一模型，對所述第一樣本集中各樣本進行特征提取，基于所提取的特征，對所述第一樣本集中各類樣本，分別基于距離其類別中心的預設距離選取一個源域圖像樣本作為保留樣本，加入目標域樣本集，得到第二樣本集；

步驟S300，基于所述第一模型，對所述第二樣本集中各樣本進行特征提取，分別計算所述第二樣本集中各類樣本的類別特征模板，并擴展到所述第一模型的分類層中，得到第二模型；

步驟S400，基于所述第二樣本集，通過硬標簽和軟標簽的共同約束進行第二模型的訓練，得到新場景人臉識別模型。