[發明專利]基于多任務與弱監督的美麗預測方法、裝置及存儲介質

有效

• 申請號: 202010587525.5
• 申請日: 2020-06-24
• 公開（公告）號: CN111832436B
• 公開（公告）日: 2023-06-16
• 發明（設計）人: 甘俊英;白振峰;翟懿奎;何國輝
• 申請（專利權）人: 五邑大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06V10/764;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 孫浩

本發明公開了基于多任務與弱監督的美麗預測方法、裝置及存儲介質，其中方法包括:預處理輸入的人臉圖像；將預處理圖像分配至多個任務；提取共享的圖像特征；通過多個由殘差網、標準神經網絡和分類器組成的分類網絡得到多個分類結果；利用多任務間的相關性和差異性，增強主任務人臉美麗預測的表達能力；通過弱監督模式的分類網絡，減少對真值標簽的依賴，降低數據標注成本和降低噪聲標簽對人臉美麗預測模型的影響，提高人臉美麗預測模型的泛化能力。

技術領域

本發明涉及圖像處理領域，特別是基于多任務與弱監督的美麗預測方法、裝置及存儲介質。

背景技術

人臉美麗預測技術是通過圖像處理與人工智能的結合，智能判斷人臉美麗等級。目前人臉美麗預測技術主要通過深度學習實現，但深度學習網絡要求有大量的訓練樣本、訓練模型容易過擬合、忽略多任務之間的相關性和差異性、強監督學習中數據標注成本較高以及忽略了獲取數據庫全部真值標簽較困難的實際情況。目前，大多數任務是針對單任務、強標簽數據進行模型訓練的，單任務忽略了任務之間的關聯性，現實生活中的任務往往有千絲萬縷的聯系；現實生活中強標簽數據難以全部獲取，并且全部獲取真值標簽成本昂貴。

發明內容

本發明的目的在于至少解決現有技術中存在的技術問題之一，提供基于多任務與弱監督的美麗預測方法、裝置及存儲介質。

本發明解決其問題所采用的技術方案是：

本發明的第一方面，基于多任務與弱監督的美麗預測方法，包括以下步驟：

預處理輸入的人臉圖像得到預處理圖像，其中所述預處理圖像包括標有真值標簽的真值圖像和標有噪聲標簽的噪聲圖像；

將所述預處理圖像分配至多個任務，其中每個所述任務包含多個所述真值圖像和多個所述噪聲圖像，多個所述任務包括一個具體為人臉美麗預測的主任務和多個與人臉美麗預測相關的輔任務；

通過特征提取層處理多個所述任務的所述真值圖像和所述噪聲圖像得到共享的圖像特征；

通過多個由殘差網、標準神經網絡和分類器組成的分類網絡處理所述圖像特征得到多個分類結果，其中多個所述分類網絡與多個所述任務一一對應；

其中，在分類網絡中，通過所述殘差網處理所述圖像特征，學習從所述圖像特征到所述真值標簽與所述噪聲標簽的殘差值的映射，并得到第一預測值；通過所述標準神經網絡，學習從所述圖像特征到所述真值標簽的映射，并得到第二預測值；通過分類器根據所述第一預測值和所述第二預測值得到所述分類結果。

根據本發明的第一方面，所述預處理輸入的人臉圖像得到預處理圖像具體是：對所述人臉圖像依次進行圖像增強處理、圖像矯正處理、圖像裁剪處理、圖像去重處理和圖像歸一化處理得到預處理圖像。

根據本發明的第一方面，所述特征提取層是VGG16、ResNet50、Google?InceptionV3或DenseNet中的一種。

根據本發明的第一方面，多個所述任務的總體損失函數為：

其中L_n是單個所述任務的損失，ω_n是對應每個所述任務的權重。

根據本發明的第一方面，所述殘差網的損失函數為：

其中D_n是所述圖像特征，y_i是所述噪聲標簽，h_i是所述第一預測值，L_noise是所述殘差網的損失值，N_n是所述圖像特征的總數量。

根據本發明的第一方面，所述標準神經網絡的損失函數為：

其中v_j是所述真值標簽，g_j是所述第二預測值，L_clean是所述標準神經網絡的損失值。