[發明專利]面部解析設備和面部解析方法

有效

• 申請號: 201611025410.7
• 申請日: 2016-11-14
• 公開（公告）號: CN108073876B
• 公開（公告）日: 2023-09-19
• 發明（設計）人: 郭天楚;金暎星;張輝;錢德恒;俞炳仁;鄭賀;徐靜濤;韓在濬;崔昌圭
• 申請（專利權）人: 北京三星通信技術研究有限公司;三星電子株式會社
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/26;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 胡江海;張川緒

本發明提供一種面部解析設備和面部解析方法。根據本發明的面部解析方法，包括：將待測樣本輸入到殘差網絡模塊；使用訓練好的殘差網絡模塊對待測樣本進行處理，其中，所述殘差網絡模塊包括沿著從輸入到輸出方向排列的多個順序結合的殘差塊，將所述多個順序結合的殘差塊中的預定的第N個殘差塊的輸出發送到殘差反卷積網絡模塊；使用訓練好的殘差反卷積網絡模塊處理所述第N個殘差塊的輸出，以得到分類圖，其中，殘差反卷積網絡模塊包括多個順序結合的殘差反卷積塊，所述多個殘差反卷積塊分別與所述多個殘差塊中的第一個到第N個殘差塊對應。采用本發明的面部解析方法，能夠提升人臉解析的性能，同時該方法模型尺寸大幅度減小。

技術領域

本發明涉及一種與計算機視覺有關的圖像處理設備和圖像處理方法，尤其涉及一種包括殘差反卷積網絡的面部解析設備和面部解析方法。

背景技術

計算機視覺是指用攝像機和計算機代替人眼對目標進行識別、跟蹤和測量等機器視覺操作，并進一步做圖形處理從而使信號成為更適合人眼觀察或儀器檢測的圖像。計算機視覺使用計算機及相關設備來模擬生物視覺，其最終研究目標就是使計算機能像人那樣通過視覺觀察和理解世界，具有自主適應環境的能力。在智能化和數字化的今天，計算機視覺得到越來越廣泛的應用和極大的關注。

使用深度學習做語意分割及解析是計算機視覺中的熱點話題，所謂圖像語意分割，簡單而言就是給定一張圖片，對圖片上的每一個像素點進行分類。深度神經網絡可以很好的抽象出圖像低維特征。但神經網絡在提取特征的同時，利用了池化層將特征的分辨率降低，而如何將低維高效的特征圖轉化為高維的像素級分類結果是分割任務的難題。主要有以下兩種解決方案。第一種方案是利用‘hole’算法并且去池化層，盡可能減小網絡分辨率的降低，并將最后得到的特征圖雙線性內插放大；第二種方案是將得到的低維特征通過堆疊的反卷積學習細節，將特征圖放大。

實現像素級高精度的人臉解析，需要得到高精度的特征圖，進而對每個像素進行分類。然而，上述方法存在一定的技術缺陷。

上述第一種方案，盡管在網絡中盡可能的去除了池化層，減少分辨率的損失，但是后期還是需要用雙線性內插方法得到高維特征圖，還是存在了一定的精度損失。主要體現在邊緣模糊。上述第二種方案，使用反卷積得到的特征圖比第一種方案更為細致，但是仍然缺乏細節。主要體現在，堆疊的反卷積是不斷的希望在一個粗糙的特征圖上直接通過反卷積操作得到一個細致的特征圖，這樣會使得每個反卷積的函數并不能更加關注于細節的學習。隨著深度網絡技術的成熟，使用更深的深度神經網絡一定意義上可以更好的提升準確率。堆疊的反卷積網絡會隨著網絡的加深而變得難以訓練，經本申請發明人研究分析，其原因有二。第一，隨著網絡層數的加深，會造成梯度彌散或者網絡訓練衰退，造成整個網絡很難達到一個較優的位置。第二，堆疊的反卷積網絡始終是利用上一層的粗糙特征圖作為輸入，期望通過反卷積輸出一個細致的特征圖，求解空間較大，不容易收斂。

另外，對于諸如人臉的面部解析任務而言，人臉有很好的結構性，可以很容易的借助五點檢測獲取結構信息。這些先驗信息可以幫助提升人臉解析的結果。但是目前現有的技術對于如何使用先驗信息還沒有一個良好的方案。

發明內容

本發明通過提供一種面部解析設備和一種面部解析方法，其至少基本上解決了上述問題和/或缺點，并可能提供另外的優點。此外，不要求示例性實施例必須克服所有上述缺點，示例性實施例可以不同時解決上述多個問題中的全部。另外，上面在背景技術部分中描述的方案并不意味著該技術方案是現有技術。

根據本發明的一方面，提供一種面部解析方法，包括：將待測樣本輸入到殘差網絡模塊；使用訓練好的殘差網絡模塊對待測樣本進行處理，其中，所述殘差網絡模塊包括沿著從輸入到輸出方向排列的多個順序結合的殘差塊，將所述多個順序結合的殘差塊中的預定的第N個殘差塊的輸出發送到殘差反卷積網絡模塊，其中，N為自然數并且小于殘差網絡模塊包括的所有殘差塊的總個數；使用訓練好的殘差反卷積網絡模塊處理所述第N個殘差塊的輸出，以得到分類圖，其中，殘差反卷積網絡模塊包括多個順序結合的殘差反卷積塊，所述多個殘差反卷積塊分別與所述多個殘差塊中的第一個殘差塊到第N個殘差塊對應。