[發(fā)明專(zhuān)利]圖像關(guān)鍵點(diǎn)檢測(cè)方法、計(jì)算設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210303055.4
• 申請(qǐng)日: 2022-03-24
• 公開(kāi)（公告）號(hào): CN114882305A
• 公開(kāi)（公告）日: 2022-08-09
• 發(fā)明（設(shè)計(jì)）人: 甘啟;張璐;陶明;劉思遠(yuǎn);章子維
• 申請(qǐng)（專(zhuān)利權(quán)）人: 上海任意門(mén)科技有限公司
• 主分類(lèi)號(hào): G06V10/774
• 分類(lèi)號(hào): G06V10/774;G06V10/46;G06V40/16;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 張平

本公開(kāi)提供了一種圖像關(guān)鍵點(diǎn)檢測(cè)方法、計(jì)算設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。該方法包括：確定訓(xùn)練樣本集合，其中訓(xùn)練樣本集合包括與多個(gè)訓(xùn)練圖像相對(duì)應(yīng)的多個(gè)訓(xùn)練樣本，每個(gè)訓(xùn)練樣本包括多個(gè)關(guān)鍵點(diǎn)；利用訓(xùn)練樣本集合中的一個(gè)訓(xùn)練樣本對(duì)深度學(xué)習(xí)模型進(jìn)行第一階段訓(xùn)練以獲取訓(xùn)練樣本的目標(biāo)向量；基于訓(xùn)練樣本的目標(biāo)向量和深度學(xué)習(xí)模型的損失函數(shù)確定深度學(xué)習(xí)模型的梯度值，其中損失函數(shù)被設(shè)置為針對(duì)每個(gè)關(guān)鍵點(diǎn)具有可調(diào)的損失權(quán)重；基于梯度值更新深度學(xué)習(xí)模型并且利用另一訓(xùn)練樣本對(duì)深度學(xué)習(xí)模型進(jìn)行第二階段訓(xùn)練；以及基于訓(xùn)練后的深度學(xué)習(xí)模型對(duì)候選圖像進(jìn)行檢測(cè)以輸出候選圖像中的關(guān)鍵點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明概括而言涉及機(jī)器學(xué)習(xí)領(lǐng)域，更具體地，涉及一種圖像關(guān)鍵點(diǎn)檢測(cè)方法、計(jì)算設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

當(dāng)前，在許多應(yīng)用中需要檢測(cè)圖像中的關(guān)鍵點(diǎn)，這些關(guān)鍵點(diǎn)包括人臉關(guān)鍵點(diǎn)、人體關(guān)鍵點(diǎn)、局部(如手部)關(guān)鍵點(diǎn)等。關(guān)鍵點(diǎn)檢測(cè)是指給定一張有相關(guān)語(yǔ)義的圖像，定位出預(yù)先定義的關(guān)鍵區(qū)域位置的算法，其擁有廣泛的應(yīng)用場(chǎng)景。

以人臉關(guān)鍵點(diǎn)檢測(cè)為例，是指給定人臉圖像，定位出人臉面部的關(guān)鍵區(qū)域位置，包括眉毛、眼睛、鼻子、嘴巴、臉部輪廓等，由于受到表情、妝容、姿態(tài)和遮擋等因素的影響，人臉關(guān)鍵點(diǎn)檢測(cè)也是一個(gè)富有挑戰(zhàn)性的任務(wù)。人臉關(guān)鍵點(diǎn)檢測(cè)是人臉識(shí)別任務(wù)中重要的基礎(chǔ)環(huán)節(jié)，人臉關(guān)鍵點(diǎn)精確檢測(cè)對(duì)眾多科研和應(yīng)用課題具有關(guān)鍵作用，例如，人臉姿態(tài)矯正、姿態(tài)識(shí)別、表情識(shí)別、疲勞監(jiān)測(cè)、嘴型識(shí)別等。因此，如何獲取高精度人臉關(guān)鍵點(diǎn)，一直以來(lái)都是計(jì)算機(jī)視覺(jué)、模式識(shí)別、圖像處理等領(lǐng)域的熱點(diǎn)研究問(wèn)題。

關(guān)鍵點(diǎn)檢測(cè)方法大致分為三種，分別是基于ASM(Active Shape Model，主動(dòng)形狀模型)和AAM(Active Appearance Model，主動(dòng)外觀模型)的傳統(tǒng)方法、基于級(jí)聯(lián)形狀回歸的方法、基于深度學(xué)習(xí)的方法。其中，當(dāng)前最主流的方案是基于深度學(xué)習(xí)的CNN網(wǎng)絡(luò)進(jìn)行相關(guān)關(guān)鍵點(diǎn)的回歸，即設(shè)計(jì)相關(guān)網(wǎng)絡(luò)結(jié)構(gòu)，將圖片信息進(jìn)行解析，并依照大量標(biāo)注的訓(xùn)練數(shù)據(jù)，根據(jù)網(wǎng)絡(luò)輸出結(jié)果與標(biāo)注數(shù)據(jù)的偏差，通過(guò)反向傳播的方法，不斷調(diào)整網(wǎng)絡(luò)參數(shù)，使得網(wǎng)絡(luò)輸出趨向于標(biāo)注數(shù)據(jù)，從而學(xué)習(xí)到相關(guān)關(guān)鍵點(diǎn)的語(yǔ)義信息，以達(dá)到預(yù)測(cè)關(guān)鍵點(diǎn)的目的。

在實(shí)際使用過(guò)程中，并非所有檢測(cè)出的點(diǎn)都擁有相同的準(zhǔn)確性和使用頻率(例如人臉關(guān)鍵點(diǎn)中變動(dòng)較大和使用率較高的點(diǎn)主要集中在眼部和嘴部區(qū)域)，然而，傳統(tǒng)的訓(xùn)練方法并未根據(jù)各個(gè)關(guān)鍵點(diǎn)的重要性和使用頻率去區(qū)分不同的關(guān)鍵點(diǎn)，而是給所有的關(guān)鍵點(diǎn)相同的權(quán)重去計(jì)算相應(yīng)的偏差。這會(huì)造成模型關(guān)注度不夠集中，在非重點(diǎn)關(guān)注區(qū)域的關(guān)鍵點(diǎn)預(yù)測(cè)準(zhǔn)確性已經(jīng)達(dá)到產(chǎn)品要求時(shí)，依舊均等地將大量的關(guān)注度放在非重點(diǎn)關(guān)注區(qū)域，從而造成重點(diǎn)關(guān)注區(qū)域的關(guān)鍵點(diǎn)不能收斂到最佳狀態(tài)。

發(fā)明內(nèi)容

針對(duì)上述問(wèn)題，本發(fā)明在模型訓(xùn)練過(guò)程中，在利用所有關(guān)鍵點(diǎn)進(jìn)行訓(xùn)練之后，可以基于不同關(guān)鍵點(diǎn)區(qū)域的關(guān)鍵點(diǎn)的重要性，對(duì)重要的關(guān)鍵點(diǎn)進(jìn)行額外的處理，包括篩選特殊樣本、加大損失權(quán)重和/或利用局部學(xué)習(xí)模型進(jìn)行額外訓(xùn)練的方式去更加精細(xì)化該部分關(guān)鍵點(diǎn)的預(yù)測(cè)準(zhǔn)確性。

根據(jù)本發(fā)明的一個(gè)方面，提供了一種圖像關(guān)鍵點(diǎn)檢測(cè)方法。該方法包括：確定訓(xùn)練樣本集合，其中所述訓(xùn)練樣本集合包括與多個(gè)訓(xùn)練圖像相對(duì)應(yīng)的多個(gè)訓(xùn)練樣本，每個(gè)訓(xùn)練樣本包括多個(gè)關(guān)鍵點(diǎn)，每個(gè)關(guān)鍵點(diǎn)被基于所述關(guān)鍵點(diǎn)在訓(xùn)練圖像中所處的關(guān)鍵點(diǎn)區(qū)域的重要性而關(guān)聯(lián)有對(duì)應(yīng)的重要性標(biāo)簽；利用所述訓(xùn)練樣本集合中的一個(gè)訓(xùn)練樣本對(duì)深度學(xué)習(xí)模型進(jìn)行第一階段訓(xùn)練以獲取所述訓(xùn)練樣本的目標(biāo)向量；基于所述訓(xùn)練樣本的目標(biāo)向量和所述深度學(xué)習(xí)模型的損失函數(shù)確定所述深度學(xué)習(xí)模型的梯度值，其中所述損失函數(shù)被設(shè)置為針對(duì)每個(gè)關(guān)鍵點(diǎn)具有可調(diào)的損失權(quán)重；基于所述梯度值更新所述深度學(xué)習(xí)模型并且利用另一訓(xùn)練樣本對(duì)所述深度學(xué)習(xí)模型進(jìn)行第二階段訓(xùn)練；以及基于訓(xùn)練后的深度學(xué)習(xí)模型對(duì)候選圖像進(jìn)行檢測(cè)以輸出所述候選圖像中的關(guān)鍵點(diǎn)。

根據(jù)本發(fā)明的另一個(gè)方面，提供了一種計(jì)算設(shè)備。該計(jì)算設(shè)備包括：至少一個(gè)處理器；以及至少一個(gè)存儲(chǔ)器，該至少一個(gè)存儲(chǔ)器被耦合到該至少一個(gè)處理器并且存儲(chǔ)用于由該至少一個(gè)處理器執(zhí)行的指令，該指令當(dāng)由該至少一個(gè)處理器執(zhí)行時(shí)，使得該計(jì)算設(shè)備執(zhí)行根據(jù)上述方法的步驟。