[發(fā)明專利]關(guān)鍵點(diǎn)提取方法、模型的訓(xùn)練方法、裝置、介質(zhì)及設(shè)備

有效

• 申請?zhí)枺?/td>: 201811615301.X
• 申請日: 2018-12-27
• 公開（公告）號: CN109753910B
• 公開（公告）日: 2020-02-21
• 發(fā)明（設(shè)計(jì)）人: 喻冬東;王長虎
• 申請（專利權(quán)）人: 北京字節(jié)跳動(dòng)網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46
• 代理公司: 北京英創(chuàng)嘉友知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11447
• 代理人: 魏嘉熹;南毅寧

本公開涉及一種關(guān)鍵點(diǎn)提取方法、模型的訓(xùn)練方法、裝置、介質(zhì)及設(shè)備，所述圖像關(guān)鍵點(diǎn)提取模型包括多個(gè)級聯(lián)的子模型，所述方法包括：將訓(xùn)練圖像輸入圖像關(guān)鍵點(diǎn)提取模型，獲得各個(gè)子模型輸出的關(guān)鍵點(diǎn)，作為圖像關(guān)鍵點(diǎn)提取模型的一次訓(xùn)練；針對每個(gè)子模型，確定該子模型輸出的關(guān)鍵點(diǎn)與訓(xùn)練圖像中、與該子模型的程度標(biāo)識對應(yīng)的關(guān)鍵點(diǎn)之間的差異，其中，程度標(biāo)識用于表征關(guān)鍵點(diǎn)提取的難易程度；將各個(gè)子模型對應(yīng)的差異之和確定為圖像關(guān)鍵點(diǎn)提取模型的目標(biāo)差異，在圖像關(guān)鍵點(diǎn)提取模型的訓(xùn)練次數(shù)未達(dá)到預(yù)設(shè)次數(shù)時(shí)，根據(jù)目標(biāo)差異更新圖像關(guān)鍵點(diǎn)提取模型。通過針對不同難易程度的關(guān)鍵點(diǎn)進(jìn)行分別處理，提高圖像關(guān)鍵點(diǎn)提取模型的精度和適用范圍。

技術(shù)領(lǐng)域

本公開涉及圖像處理領(lǐng)域，具體地，涉及一種關(guān)鍵點(diǎn)提取方法、模型的訓(xùn)練方法、裝置、介質(zhì)及設(shè)備。

背景技術(shù)

在進(jìn)行圖像關(guān)鍵點(diǎn)提取時(shí)，現(xiàn)有技術(shù)中，通常是通過卷積神經(jīng)網(wǎng)絡(luò)提取圖像的關(guān)鍵點(diǎn)，將標(biāo)記的圖像進(jìn)行統(tǒng)一訓(xùn)練。然而，圖像清晰度的不同或是拍攝環(huán)境的不同，則會(huì)導(dǎo)致提取圖像中的關(guān)鍵點(diǎn)時(shí)的難易程度不同。因此，在針對上述圖像進(jìn)行統(tǒng)一訓(xùn)練時(shí)，獲得的網(wǎng)絡(luò)的適用性較小，準(zhǔn)確度較低。

發(fā)明內(nèi)容

本公開的目的是提供一種針對不同難易程度的關(guān)鍵點(diǎn)進(jìn)行分別處理地關(guān)鍵點(diǎn)提取方法、模型的訓(xùn)練方法、裝置、介質(zhì)及設(shè)備。

為了實(shí)現(xiàn)上述目的，根據(jù)本公開的第一方面，提供一種圖像關(guān)鍵點(diǎn)提取模型的訓(xùn)練方法，所述圖像關(guān)鍵點(diǎn)提取模型包括多個(gè)級聯(lián)的子模型，所述方法包括：

將訓(xùn)練圖像輸入圖像關(guān)鍵點(diǎn)提取模型，獲得各個(gè)子模型輸出的關(guān)鍵點(diǎn)，作為所述圖像關(guān)鍵點(diǎn)提取模型的一次訓(xùn)練；

針對每個(gè)子模型，確定該子模型輸出的關(guān)鍵點(diǎn)與所述訓(xùn)練圖像中、與該子模型的程度標(biāo)識對應(yīng)的關(guān)鍵點(diǎn)之間的差異，其中，所述程度標(biāo)識用于表征關(guān)鍵點(diǎn)提取的難易程度；

將所述各個(gè)子模型對應(yīng)的差異之和確定為所述圖像關(guān)鍵點(diǎn)提取模型的目標(biāo)差異，在所述圖像關(guān)鍵點(diǎn)提取模型的訓(xùn)練次數(shù)未達(dá)到預(yù)設(shè)次數(shù)時(shí)，根據(jù)所述目標(biāo)差異更新所述圖像關(guān)鍵點(diǎn)提取模型。

可選地，在更新所述圖像關(guān)鍵點(diǎn)提取模型之后，返回所述將訓(xùn)練圖像輸入圖像關(guān)鍵點(diǎn)提取模型，獲得各個(gè)子模型輸出的關(guān)鍵點(diǎn)的步驟，直到所述圖像關(guān)鍵點(diǎn)提取模型的訓(xùn)練次數(shù)達(dá)到所述預(yù)設(shè)次數(shù)為止。

可選地，所述圖像關(guān)鍵點(diǎn)提取模型中的第一個(gè)子模型的輸入為所述訓(xùn)練圖像中人體圖像部分的特征圖，所述圖像關(guān)鍵點(diǎn)提取模型中的除所述第一個(gè)子模型之外的子模型的輸入為上一子模型輸出的關(guān)鍵點(diǎn)和所述訓(xùn)練圖像中人體圖像部分的特征圖。

可選地，所述訓(xùn)練圖像中人體圖像部分的特征圖通過以下方式確定：

提取所述訓(xùn)練圖像的人體圖像部分對應(yīng)的第一圖像；

將所述第一圖像對應(yīng)的分辨率調(diào)整至預(yù)設(shè)分辨率，獲得第二圖像，并根據(jù)所述第二圖像確定所述訓(xùn)練圖像中人體圖像部分的特征圖。

根據(jù)本公開的第二方面，提供一種圖像關(guān)鍵點(diǎn)提取方法，所述方法包括：

接收目標(biāo)圖像，所述目標(biāo)圖像中包含人體圖像部分；

將所述目標(biāo)圖像輸入圖像關(guān)鍵點(diǎn)提取模型，將所述圖像關(guān)鍵點(diǎn)提取模型的最后一個(gè)子模型輸出的關(guān)鍵點(diǎn)確定為所述目標(biāo)圖像中人體圖像部分的關(guān)鍵點(diǎn)，其中，所述圖像關(guān)鍵點(diǎn)提取模型包括多個(gè)級聯(lián)的子模型，所述圖像關(guān)鍵點(diǎn)提取模型為根據(jù)上述第一方面任一所述方法訓(xùn)練得到的。

根據(jù)本公開的第三方面，提供一種圖像關(guān)鍵點(diǎn)提取模型的訓(xùn)練裝置，所述圖像關(guān)鍵點(diǎn)提取模型包括多個(gè)級聯(lián)的子模型，所述裝置包括：

處理模塊，用于將訓(xùn)練圖像輸入圖像關(guān)鍵點(diǎn)提取模型，獲得各個(gè)子模型輸出的關(guān)鍵點(diǎn)，作為所述圖像關(guān)鍵點(diǎn)提取模型的一次訓(xùn)練；