[發(fā)明專利]基于多任務(wù)與弱監(jiān)督的美麗預(yù)測方法、裝置及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010587525.5
• 申請日: 2020-06-24
• 公開（公告）號: CN111832436B
• 公開（公告）日: 2023-06-16
• 發(fā)明（設(shè)計）人: 甘俊英;白振峰;翟懿奎;何國輝
• 申請（專利權(quán)）人: 五邑大學(xué)
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06V10/764;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 孫浩

本發(fā)明公開了基于多任務(wù)與弱監(jiān)督的美麗預(yù)測方法、裝置及存儲介質(zhì)，其中方法包括:預(yù)處理輸入的人臉圖像；將預(yù)處理圖像分配至多個任務(wù)；提取共享的圖像特征；通過多個由殘差網(wǎng)、標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)和分類器組成的分類網(wǎng)絡(luò)得到多個分類結(jié)果；利用多任務(wù)間的相關(guān)性和差異性，增強主任務(wù)人臉美麗預(yù)測的表達能力；通過弱監(jiān)督模式的分類網(wǎng)絡(luò)，減少對真值標(biāo)簽的依賴，降低數(shù)據(jù)標(biāo)注成本和降低噪聲標(biāo)簽對人臉美麗預(yù)測模型的影響，提高人臉美麗預(yù)測模型的泛化能力。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理領(lǐng)域，特別是基于多任務(wù)與弱監(jiān)督的美麗預(yù)測方法、裝置及存儲介質(zhì)。

背景技術(shù)

人臉美麗預(yù)測技術(shù)是通過圖像處理與人工智能的結(jié)合，智能判斷人臉美麗等級。目前人臉美麗預(yù)測技術(shù)主要通過深度學(xué)習(xí)實現(xiàn)，但深度學(xué)習(xí)網(wǎng)絡(luò)要求有大量的訓(xùn)練樣本、訓(xùn)練模型容易過擬合、忽略多任務(wù)之間的相關(guān)性和差異性、強監(jiān)督學(xué)習(xí)中數(shù)據(jù)標(biāo)注成本較高以及忽略了獲取數(shù)據(jù)庫全部真值標(biāo)簽較困難的實際情況。目前，大多數(shù)任務(wù)是針對單任務(wù)、強標(biāo)簽數(shù)據(jù)進行模型訓(xùn)練的，單任務(wù)忽略了任務(wù)之間的關(guān)聯(lián)性，現(xiàn)實生活中的任務(wù)往往有千絲萬縷的聯(lián)系；現(xiàn)實生活中強標(biāo)簽數(shù)據(jù)難以全部獲取，并且全部獲取真值標(biāo)簽成本昂貴。

發(fā)明內(nèi)容

本發(fā)明的目的在于至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題之一，提供基于多任務(wù)與弱監(jiān)督的美麗預(yù)測方法、裝置及存儲介質(zhì)。

本發(fā)明解決其問題所采用的技術(shù)方案是：

本發(fā)明的第一方面，基于多任務(wù)與弱監(jiān)督的美麗預(yù)測方法，包括以下步驟：

預(yù)處理輸入的人臉圖像得到預(yù)處理圖像，其中所述預(yù)處理圖像包括標(biāo)有真值標(biāo)簽的真值圖像和標(biāo)有噪聲標(biāo)簽的噪聲圖像；

將所述預(yù)處理圖像分配至多個任務(wù)，其中每個所述任務(wù)包含多個所述真值圖像和多個所述噪聲圖像，多個所述任務(wù)包括一個具體為人臉美麗預(yù)測的主任務(wù)和多個與人臉美麗預(yù)測相關(guān)的輔任務(wù)；

通過特征提取層處理多個所述任務(wù)的所述真值圖像和所述噪聲圖像得到共享的圖像特征；

通過多個由殘差網(wǎng)、標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)和分類器組成的分類網(wǎng)絡(luò)處理所述圖像特征得到多個分類結(jié)果，其中多個所述分類網(wǎng)絡(luò)與多個所述任務(wù)一一對應(yīng)；

其中，在分類網(wǎng)絡(luò)中，通過所述殘差網(wǎng)處理所述圖像特征，學(xué)習(xí)從所述圖像特征到所述真值標(biāo)簽與所述噪聲標(biāo)簽的殘差值的映射，并得到第一預(yù)測值；通過所述標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)從所述圖像特征到所述真值標(biāo)簽的映射，并得到第二預(yù)測值；通過分類器根據(jù)所述第一預(yù)測值和所述第二預(yù)測值得到所述分類結(jié)果。

根據(jù)本發(fā)明的第一方面，所述預(yù)處理輸入的人臉圖像得到預(yù)處理圖像具體是：對所述人臉圖像依次進行圖像增強處理、圖像矯正處理、圖像裁剪處理、圖像去重處理和圖像歸一化處理得到預(yù)處理圖像。

根據(jù)本發(fā)明的第一方面，所述特征提取層是VGG16、ResNet50、Google?InceptionV3或DenseNet中的一種。

根據(jù)本發(fā)明的第一方面，多個所述任務(wù)的總體損失函數(shù)為：

其中L_n是單個所述任務(wù)的損失，ω_n是對應(yīng)每個所述任務(wù)的權(quán)重。

根據(jù)本發(fā)明的第一方面，所述殘差網(wǎng)的損失函數(shù)為：

其中D_n是所述圖像特征，y_i是所述噪聲標(biāo)簽，h_i是所述第一預(yù)測值，L_noise是所述殘差網(wǎng)的損失值，N_n是所述圖像特征的總數(shù)量。

根據(jù)本發(fā)明的第一方面，所述標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)的損失函數(shù)為：

其中v_j是所述真值標(biāo)簽，g_j是所述第二預(yù)測值，L_clean是所述標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)的損失值。