[發(fā)明專(zhuān)利]訓(xùn)練方法、關(guān)鍵點(diǎn)檢測(cè)方法、裝置、存儲(chǔ)介質(zhì)和電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201710488351.5
• 申請(qǐng)日: 2017-06-23
• 公開(kāi)（公告）號(hào): CN108230390B
• 公開(kāi)（公告）日: 2021-01-01
• 發(fā)明（設(shè)計(jì)）人: 李步宇;閆俊杰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京市商湯科技開(kāi)發(fā)有限公司
• 主分類(lèi)號(hào): G06T7/73
• 分類(lèi)號(hào): G06T7/73
• 代理公司: 北京康達(dá)聯(lián)禾知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11461
• 代理人: 羅延紅;張雪飛

本發(fā)明實(shí)施例提供一種訓(xùn)練方法、關(guān)鍵點(diǎn)檢測(cè)方法、裝置、存儲(chǔ)介質(zhì)和電子設(shè)備。一種深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法包括：通過(guò)深度神經(jīng)網(wǎng)絡(luò)獲取樣本圖像的第一特征數(shù)據(jù)和第二特征數(shù)據(jù)；根據(jù)樣本圖像的物體關(guān)鍵點(diǎn)的位置標(biāo)注信息以及第一特征數(shù)據(jù)、第二特征數(shù)據(jù)，確定第一差異和第二差異，第一差異用于表征關(guān)鍵點(diǎn)所在區(qū)域的檢測(cè)誤差，第二差異用于表征關(guān)鍵點(diǎn)位置的檢測(cè)誤差；根據(jù)第一差異和所述第二差異，訓(xùn)練所述深度神經(jīng)網(wǎng)絡(luò)。訓(xùn)練得到的深度神經(jīng)網(wǎng)絡(luò)能夠在實(shí)際執(zhí)行物體檢測(cè)前，先行較準(zhǔn)確地進(jìn)行一種或多種物體的物體關(guān)鍵點(diǎn)的檢測(cè)。在物體關(guān)鍵點(diǎn)的檢測(cè)中，不需要受限于在現(xiàn)有物體關(guān)鍵點(diǎn)檢測(cè)方式中在前的物體檢測(cè)的準(zhǔn)確性，并且具有通用性。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及圖像處理技術(shù)，尤其涉及一種深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方 法、物體關(guān)鍵點(diǎn)檢測(cè)方法、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)、裝置和電子設(shè)備。

背景技術(shù)

物體關(guān)鍵點(diǎn)檢測(cè)涉及從給定的圖像檢測(cè)出圖像中物體的關(guān)鍵點(diǎn)位置。對(duì) 于在圖像中存在多個(gè)物體的情況，既要確定關(guān)鍵點(diǎn)的位置，還要確定哪些關(guān) 鍵點(diǎn)屬于哪個(gè)物體。對(duì)于人和動(dòng)物來(lái)說(shuō)，通常將人/動(dòng)物的重要部位和關(guān)節(jié)處 確定為人/動(dòng)物的關(guān)鍵點(diǎn)。

在當(dāng)前的物體關(guān)鍵點(diǎn)檢測(cè)方法中，先通過(guò)物體檢測(cè)方法檢測(cè)出每個(gè)物體 的外接矩形框的位置，基于這些外接矩形框?qū)⒏鱾€(gè)物體從圖像中切出，再逐 一對(duì)各個(gè)物體進(jìn)行關(guān)鍵點(diǎn)檢測(cè)。這種關(guān)鍵點(diǎn)檢測(cè)方法依賴(lài)于物體檢測(cè)的結(jié)果， 其準(zhǔn)確率也直接受到物體檢測(cè)準(zhǔn)確率的影響。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于，提供一種物體關(guān)鍵點(diǎn)檢測(cè)技術(shù)。

根據(jù)本發(fā)明實(shí)施例的第一方面，提供一種深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，包 括：通過(guò)深度神經(jīng)網(wǎng)絡(luò)獲取樣本圖像的第一特征數(shù)據(jù)和第二特征數(shù)據(jù)，所述 樣本圖像攜帶有目標(biāo)物體的物體關(guān)鍵點(diǎn)的位置標(biāo)注信息，所述第一特征數(shù)據(jù) 用于表征各圖像區(qū)域內(nèi)含有物體關(guān)鍵點(diǎn)的概率信息，所述第二特征數(shù)據(jù)用于 表征預(yù)測(cè)點(diǎn)的位置信息，所述預(yù)測(cè)點(diǎn)為預(yù)測(cè)作為所述物體關(guān)鍵點(diǎn)的像素點(diǎn)； 根據(jù)所述位置標(biāo)注信息以及第一特征數(shù)據(jù)、第二特征數(shù)據(jù)，確定第一差異和 第二差異，所述第一差異用于表征關(guān)鍵點(diǎn)所在區(qū)域的檢測(cè)誤差，所述第二差 異用于表征關(guān)鍵點(diǎn)位置的檢測(cè)誤差；根據(jù)所述第一差異和所述第二差異，訓(xùn) 練所述深度神經(jīng)網(wǎng)絡(luò)。

可選地，所述第一特征數(shù)據(jù)包括第一特征圖，所述第一特征圖中的各個(gè) 第一特征點(diǎn)指示所述第一特征點(diǎn)對(duì)應(yīng)的圖像區(qū)域內(nèi)含有物體關(guān)鍵點(diǎn)的概率信 息。

可選地，所述根據(jù)所述位置標(biāo)注信息以及第一特征數(shù)據(jù)，確定第一差異 包括：根據(jù)所述物體關(guān)鍵點(diǎn)的位置標(biāo)注信息，確定所述第一特征點(diǎn)對(duì)應(yīng)的圖 像區(qū)域內(nèi)是否含有所述物體關(guān)鍵點(diǎn)；根據(jù)所述圖像區(qū)域內(nèi)是否含有所述物體 關(guān)鍵點(diǎn)的確認(rèn)結(jié)果確定所述第一差異。

可選地，所述根據(jù)物體關(guān)鍵點(diǎn)的位置標(biāo)注信息以及相應(yīng)的第二特征數(shù)據(jù)， 確定指示關(guān)鍵點(diǎn)位置檢測(cè)的第二差異包括：對(duì)于確定含有所述物體關(guān)鍵點(diǎn)的 圖像區(qū)域，根據(jù)所述物體關(guān)鍵點(diǎn)的位置標(biāo)注信息以及對(duì)應(yīng)于所述圖像區(qū)域中 預(yù)測(cè)點(diǎn)的位置信息確定所述第二差異。

可選地，所述通過(guò)所述深度神經(jīng)網(wǎng)絡(luò)獲取樣本圖像的第一特征數(shù)據(jù)包括： 通過(guò)所述深度神經(jīng)網(wǎng)絡(luò)獲取樣本圖像的第一個(gè)數(shù)的第一特征圖，所述第一個(gè) 數(shù)為所述目標(biāo)物體的物體關(guān)鍵點(diǎn)的個(gè)數(shù)，每個(gè)目標(biāo)物體的物體關(guān)鍵點(diǎn)對(duì)應(yīng)于 一個(gè)第一特征圖。

可選地，所述通過(guò)所述深度神經(jīng)網(wǎng)絡(luò)獲取樣本圖像的第二特征數(shù)據(jù)包括： 通過(guò)所述深度神經(jīng)網(wǎng)絡(luò)獲取樣本圖像的第二個(gè)數(shù)的第二特征圖，所述第二個(gè) 數(shù)為所述第一個(gè)數(shù)的兩倍，每個(gè)物體關(guān)鍵點(diǎn)對(duì)應(yīng)兩個(gè)第二特征圖，所述兩個(gè) 第二特征圖分別指示所述樣本圖像中的預(yù)測(cè)點(diǎn)在水平方向和豎直方向上的位 置信息。

可選地，所述預(yù)測(cè)點(diǎn)的位置信息包括所述預(yù)測(cè)點(diǎn)相對(duì)于其在所述樣本圖 像中對(duì)應(yīng)的圖像區(qū)域的中心的橫坐標(biāo)和/或縱坐標(biāo)的信息。