[發明專利]一種基于小樣本學習原型網絡的特殊面容人群篩查系統

在審

• 申請號: 202010952636.1
• 申請日: 2020-09-11
• 公開（公告）號: CN112084956A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 馬天雪;院旺;馬利莊;劉淑寶;唐俊姝
• 申請（專利權）人: 上海交通大學煙臺信息技術研究院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 上?？剖⒅R產權代理有限公司 31225
• 代理人: 丁云

1.一種基于小樣本學習原型網絡的特殊面容人群篩查系統，其特征在于，該系統包括：

圖像獲取模塊：獲取用戶圖像；

人臉檢測模塊：檢測用戶圖像中是否包含人臉；

人臉裁剪模塊：對包含人臉的用戶圖像進行裁剪獲得人臉圖像；

篩查模塊：該模塊存儲預先經過小樣本學習得到的原型網絡，所述的原型網絡包括嵌入函數，嵌入函數輸入為人臉圖像，輸出為人臉圖像的特征向量，所述的原型網絡還利用特征向量與各類特殊面容人群原型的距離確定輸入的人臉圖像屬于對應的特殊面容人群的概率值。

2.根據權利要求1所述的一種基于小樣本學習原型網絡的特殊面容人群篩查系統，其特征在于，所述的圖像獲取模塊通過用戶上傳照片或者用戶現場拍照的方式獲取用戶圖像。

3.根據權利要求1所述的一種基于小樣本學習原型網絡的特殊面容人群篩查系統，其特征在于，所述的人臉檢測模塊包括Dlib檢測器。

4.根據權利要求3所述的一種基于小樣本學習原型網絡的特殊面容人群篩查系統，其特征在于，所述的人臉裁剪模塊基于Dlib檢測器檢測到的人臉外接矩形的坐標，利用OpenCv將人臉外接矩形區域內的圖像裁剪保存形成人臉圖像。

5.根據權利要求1所述的一種基于小樣本學習原型網絡的特殊面容人群篩查系統，其特征在于，所述的篩查模塊中的原型網絡訓練方式為：

構建特殊面容人群數據集，將數據集分為訓練集，驗證集及測試集，其中特殊面容人群數據集包括特殊面容人群的人臉照片及其對應的特殊面容人群類別；

對所述訓練集數據執行數據增強操作；

確定嵌入函數訓練過程中超參數的具體數值；

基于episode策略進行原型網絡的訓練，從所述訓練集中選擇N個類別，并從這N個類別中分別選取S+Q個樣本，其中S個樣本作為訓練的支持集，Q個樣本作為訓練的查詢集，將所述支持集與查詢集輸入嵌入函數得到特征向量，利用所述查詢集的特征向量求得類原型，利用所述支持集的特征向量求與類原型的距離；

利用所述距離以及損失函數求得損失函數值；

基于上述得到的損失函數值和已設置好的超參數進行原型網絡的訓練。

6.根據權利要求5所述的一種基于小樣本學習原型網絡的特殊面容人群篩查系統，其特征在于，所述的數據增強操作包括圖像翻轉、圖像旋轉、灰度處理中的一種或多種。

7.根據權利要求5所述的一種基于小樣本學習原型網絡的特殊面容人群篩查系統，其特征在于，所述的超參數包括學習率、迭代次數，所述嵌入函數為典型的VGG16網絡。

8.根據權利要求5所述的一種基于小樣本學習原型網絡的特殊面容人群篩查系統，其特征在于，將所述支持集與查詢集輸入嵌入函數得到特征向量，利用所述查詢集的特征向量求得類原型，每個類的原型由此類支持集樣本特征向量的平均值決定，如下：

其中，c_k代表類k的原型，S_k表示類k的樣本集合，|S_k|表示類k中樣本的數量，x_i為樣本，y_i標簽，f_φ為嵌入空間，f_φ表示將輸入樣本映射到特征向量中。

9.根據權利要求5所述的一種基于小樣本學習原型網絡的特殊面容人群篩查系統，其特征在于，使用歐式距離作為查詢集樣本特征向量與類原型距離的度量方法。

10.根據權利要求5所述的一種基于小樣本學習原型網絡的特殊面容人群篩查系統，其特征在于，利用所述距離以及損失函數求得損失函數值具體為：

首先求一個已知屬于類k的樣本屬于類k的概率，如下：

其中，x為輸入樣本，y為樣本x的預測標簽，k為樣本x的真實標簽，k′為可能的類別標簽，f_φ(x)為嵌入空間，c_k為類k的原型，c_k′為類k′的原型，p_φ(y＝k|x)代表樣本x的預測標簽為k的概率，d(,)表示求歐式距離；

進而，損失函數為J(φ)：

J(φ)＝-log(p_φ(y＝k|x))。