[發(fā)明專(zhuān)利]局部生成人臉定位方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110709918.3
• 申請(qǐng)日: 2021-06-25
• 公開(kāi)（公告）號(hào): CN113609900B
• 公開(kāi)（公告）日: 2023-09-12
• 發(fā)明（設(shè)計(jì)）人: 陳北京;鞠興旺;吳畏
• 申請(qǐng)（專(zhuān)利權(quán)）人: 南京信息工程大學(xué)
• 主分類(lèi)號(hào): G06V40/16
• 分類(lèi)號(hào): G06V40/16;G06V10/774;G06V10/776;G06V10/82;G06N3/0455;G06N3/0464;G06N3/048;G06N3/08;G06V10/80
• 代理公司: 南京經(jīng)緯專(zhuān)利商標(biāo)代理有限公司 32200
• 代理人: 羅運(yùn)紅

1.一種局部生成人臉定位方法，其特征在于，所述方法包括：

獲取待定位人臉圖像；

將所述待定位人臉圖像輸入至訓(xùn)練好的局部生成人臉圖像定位網(wǎng)絡(luò)中，對(duì)所述待定位人臉圖像的局部生成區(qū)域進(jìn)行定位分析，輸出所述待定位人臉圖像的第一定位預(yù)測(cè)結(jié)果；

所述局部生成人臉圖像定位網(wǎng)絡(luò)的訓(xùn)練方式，包括：

獲取局部生成人臉圖像樣本集，所述局部生成人臉圖像樣本集中的局部生成人臉圖像樣本包括：包含局部生成區(qū)域的人臉圖像和對(duì)應(yīng)的二值化的真實(shí)標(biāo)簽圖像；

將所述局部生成人臉圖像集劃分為訓(xùn)練圖像集和測(cè)試圖像集；

初始化融合了RRU-Net和去噪操作模塊的局部生成人臉定位網(wǎng)絡(luò)，并按照正態(tài)分布隨機(jī)初始化所述局部生成人臉定位網(wǎng)絡(luò)中的參數(shù)；

利用所述訓(xùn)練圖像集對(duì)所述局部生成人臉定位網(wǎng)絡(luò)進(jìn)行訓(xùn)練操作，獲得初步訓(xùn)練好的局部生成人臉圖像定位網(wǎng)絡(luò)；

利用所述測(cè)試圖像集對(duì)所述初步訓(xùn)練好的局部生成人臉圖像定位網(wǎng)絡(luò)中進(jìn)行測(cè)試，當(dāng)所述初步訓(xùn)練好的局部生成人臉圖像定位網(wǎng)絡(luò)滿(mǎn)足預(yù)設(shè)要求時(shí)，獲得訓(xùn)練好的局部生成人臉圖像定位網(wǎng)絡(luò)；

所述初始化融合了RRU-Net和去噪操作模塊的局部生成人臉定位網(wǎng)絡(luò)依次包括：第一卷積組、第二卷積組、第三卷積組、第四卷積組、第五卷積組、第一反卷積組、第二反卷積組、第三反卷積組和第四反卷積組；

所述第一卷積組、所述第二卷積組、所述第三卷積組和所述第四卷積組的輸出，分別與所述第一反卷積組、所述第二反卷積組、所述第三反卷積組、所述第四反卷積組的輸入融合，形成跳躍結(jié)構(gòu)；

所述第三卷積組、所述第四卷積組、所述第五卷積組、所述第一反卷積組和所述第二反卷積組的組與組之間，設(shè)置了去噪操作模塊；

所述局部生成人臉定位網(wǎng)絡(luò)的執(zhí)行過(guò)程包括：

輸入待預(yù)測(cè)圖像，使用所述第一卷積組中的環(huán)狀殘差塊對(duì)輸入的所述待預(yù)測(cè)圖像進(jìn)行卷積，得到第一特征圖；

所述第一特征圖經(jīng)過(guò)池化窗口為2×2的最大池化層池化，得到第二特征圖；

將所述第二特征圖輸入所述第二卷積組中的環(huán)狀殘差塊進(jìn)行卷積，得到第三特征圖；

所述第三特征圖經(jīng)過(guò)池化窗口為2×2的最大池化層池化，得到第四特征圖；

將所述第四特征圖輸入所述第三卷積組中的環(huán)狀殘差塊進(jìn)行卷積后，輸出至對(duì)應(yīng)的噪聲操作模塊對(duì)進(jìn)行噪聲操作，得到第五特征圖；

所述第五特征圖經(jīng)過(guò)池化窗口為2×2的最大池化層池化，得到第六特征圖；

將所述第六特征圖輸入所述第四卷積組中的環(huán)狀殘差塊進(jìn)行卷積后，輸出至對(duì)應(yīng)的噪聲操作模塊進(jìn)行噪聲操作，得到第七特征圖；

所述第七特征圖經(jīng)過(guò)池化窗口為2×2的最大池化層池化，得到第八特征圖；

將所述第八特征圖輸入所述第五卷積組中的環(huán)狀殘差塊進(jìn)行卷積后，輸出至對(duì)應(yīng)的噪聲操作模塊進(jìn)行噪聲操作，得到第八特征圖；

對(duì)所述第八特征圖進(jìn)行反卷積后，并與所述第六特征圖進(jìn)行特征融合，獲得第九特征圖；

所述第九特征圖通過(guò)所述第一反卷積組中的環(huán)狀殘差塊進(jìn)行卷積后，輸出至對(duì)應(yīng)的噪聲操作模塊進(jìn)行噪聲操作，得到第十特征圖；

對(duì)所述第十特征圖進(jìn)行反卷積后，與所述第四特征圖進(jìn)行特征圖融合，得到第十一特征圖；

所述第十一特征圖通過(guò)所述第二反卷積組中的環(huán)狀殘差塊進(jìn)行卷積后，輸出至對(duì)應(yīng)的噪聲操作模塊進(jìn)行噪聲操作得到第十二特征圖；

對(duì)所述第十二特征圖進(jìn)行反卷積后，與所述第二特征圖進(jìn)行特征圖融合，得到第十三特征圖；

所述第十三特征圖通過(guò)所述第三反卷積組中的環(huán)狀殘差塊進(jìn)行卷積，得到第十四特征圖；

對(duì)所述第十四特征圖進(jìn)行反卷積后，與所述待預(yù)測(cè)圖像進(jìn)行特征圖融合，得到第十五特征圖；

所述第十五特征圖通過(guò)所述第四反卷積組中的環(huán)狀殘差塊進(jìn)行卷積后，輸出所述待預(yù)測(cè)圖像的每個(gè)像素點(diǎn)的局部生成人臉定位預(yù)測(cè)結(jié)果；

所述環(huán)狀殘差塊包括殘差傳播塊和反饋塊；

所述殘差傳播塊表示為：

v_f＝f(z,{w_i})+w_s^*z_p

其中，z_p為所建立殘差傳播塊的輸入，v_f為所建立殘差傳播塊的輸出，f(z,{w_i})為卷積操作，w_i為所述殘差傳播塊的第i層卷積的權(quán)重，表示學(xué)習(xí)的殘差圖，i∈1、2……n，n為所述殘差傳播塊中卷積層的總層數(shù)，w_s為一個(gè)線(xiàn)性變換，使前后兩項(xiàng)維度相匹配；

在所述反饋塊中，添加了注意力機(jī)制來(lái)學(xué)習(xí)不同特征通道之間的交互作用，所述反饋塊表示為：

z_b＝(s(G(v))+1)*z_q

其中，z_q為所建立反饋塊的輸入，v為殘差傳播塊的輸出，z_b為增強(qiáng)后的輸入，G為一個(gè)線(xiàn)性映射，用于網(wǎng)絡(luò)維度的統(tǒng)一，s為門(mén)控制激活函數(shù)。