[發(fā)明專利]服飾關(guān)鍵點(diǎn)定位方法、裝置、電子設(shè)備及計(jì)算機(jī)存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010310618.3
• 申請(qǐng)日: 2020-04-20
• 公開（公告）號(hào): CN113538573B
• 公開（公告）日: 2023-07-25
• 發(fā)明（設(shè)計(jì)）人: 何明;張李秋;李超;劉林海
• 申請(qǐng)（專利權(quán)）人: 中移（成都）信息通信科技有限公司;中國(guó)移動(dòng)通信集團(tuán)有限公司
• 主分類號(hào): G06T7/73
• 分類號(hào): G06T7/73;G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06N3/082;G06N3/092;G06N3/0895;G06N3/0464;G06N3/084
• 代理公司: 北京東方億思知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11258
• 代理人: 彭瓊

1.一種服飾關(guān)鍵點(diǎn)定位方法，其特征在于，包括：

獲取待服飾關(guān)鍵點(diǎn)定位的服飾圖像和所述服飾圖像對(duì)應(yīng)的熱力圖；

將所述服飾圖像和所述服飾圖像對(duì)應(yīng)的熱力圖進(jìn)行特征融合，得到融合圖像；

將所述融合圖像輸入預(yù)設(shè)的服飾關(guān)鍵點(diǎn)定位模型，輸出所述服飾圖像對(duì)應(yīng)的定位結(jié)果圖像；

其中，所述服飾關(guān)鍵點(diǎn)定位模型是利用訓(xùn)練集對(duì)第一多域多任務(wù)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練得到的，所述訓(xùn)練集是基于樣本服飾圖像、所述樣本服飾圖像對(duì)應(yīng)的熱力圖進(jìn)行特征融合得到的，所述第一多域多任務(wù)網(wǎng)絡(luò)包括回歸任務(wù)網(wǎng)絡(luò)；

所述多域是用于將不同位置、不同尺寸的圖片融合進(jìn)行訓(xùn)練；

在利用訓(xùn)練集對(duì)第一多域多任務(wù)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練，得到服飾關(guān)鍵點(diǎn)定位模型之前，所述方法還包括：

獲取所述樣本服飾圖像對(duì)應(yīng)的熱力圖；

針對(duì)所述樣本服飾圖像對(duì)應(yīng)的熱力圖的不同區(qū)域進(jìn)行裁剪，分別得到所述不同區(qū)域?qū)?yīng)的裁剪圖像；

將各個(gè)所述裁剪圖像分別與所述樣本服飾圖像進(jìn)行特征融合，得到所述訓(xùn)練集；其中，所述訓(xùn)練集包括各個(gè)樣本融合圖像。

2.根據(jù)權(quán)利要求1所述的服飾關(guān)鍵點(diǎn)定位方法，其特征在于，在所述將所述融合圖像輸入預(yù)設(shè)的服飾關(guān)鍵點(diǎn)定位模型，輸出所述服飾圖像對(duì)應(yīng)的定位結(jié)果圖像之前，所述方法還包括：

采用自適應(yīng)漸進(jìn)式剪枝的方式，對(duì)所述第一多域多任務(wù)網(wǎng)絡(luò)進(jìn)行權(quán)重剪裁，得到第二多域多任務(wù)網(wǎng)絡(luò)；其中，所述第二多域多任務(wù)網(wǎng)絡(luò)的權(quán)重稀疏度達(dá)到預(yù)設(shè)的權(quán)重稀疏度閾值；

將所述第二多域多任務(wù)網(wǎng)絡(luò)確定為所述第一多域多任務(wù)網(wǎng)絡(luò)；

利用所述訓(xùn)練集對(duì)所述第一多域多任務(wù)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練，得到所述服飾關(guān)鍵點(diǎn)定位模型。

3.根據(jù)權(quán)利要求1所述的服飾關(guān)鍵點(diǎn)定位方法，其特征在于，在所述將所述融合圖像輸入預(yù)設(shè)的服飾關(guān)鍵點(diǎn)定位模型，輸出所述服飾圖像對(duì)應(yīng)的定位結(jié)果圖像之前，所述方法還包括：

基于預(yù)設(shè)的位寬分配策略信息，調(diào)整所述第一多域多任務(wù)網(wǎng)絡(luò)中每一層的位寬，得到第三多域多任務(wù)網(wǎng)絡(luò)；其中，所述位寬包括權(quán)重的位寬和激活的位寬；

將所述第三多域多任務(wù)網(wǎng)絡(luò)確定為所述第一多域多任務(wù)網(wǎng)絡(luò)；

利用所述訓(xùn)練集對(duì)所述第一多域多任務(wù)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練，得到所述服飾關(guān)鍵點(diǎn)定位模型。

4.根據(jù)權(quán)利要求3所述的服飾關(guān)鍵點(diǎn)定位方法，其特征在于，在所述基于預(yù)設(shè)的位寬分配策略信息，調(diào)整所述第一多域多任務(wù)網(wǎng)絡(luò)中每一層的位寬，得到第三多域多任務(wù)網(wǎng)絡(luò)之前，所述方法還包括：

獲取目標(biāo)硬件加速器的計(jì)算資源量信息；

基于所述計(jì)算資源量信息，確定所述位寬分配策略信息。

5.根據(jù)權(quán)利要求1所述的服飾關(guān)鍵點(diǎn)定位方法，其特征在于，所述第一多域多任務(wù)網(wǎng)絡(luò)還包括分類任務(wù)網(wǎng)絡(luò)；所述利用所述訓(xùn)練集對(duì)所述第一多域多任務(wù)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練，得到所述服飾關(guān)鍵點(diǎn)定位模型，包括：

將所述訓(xùn)練集中所述樣本融合圖像輸入所述第一多域多任務(wù)網(wǎng)絡(luò)后，分別確定所述裁剪圖像的損失信息和所述樣本服飾圖像的損失信息；

基于所述裁剪圖像的損失信息和所述樣本服飾圖像的損失信息，對(duì)所述第一多域多任務(wù)網(wǎng)絡(luò)中每一層的初始權(quán)重進(jìn)行調(diào)整，確定所述第一多域多任務(wù)網(wǎng)絡(luò)中每一層的目標(biāo)權(quán)重；

基于所述第一多域多任務(wù)網(wǎng)絡(luò)中每一層的所述目標(biāo)權(quán)重，確定所述服飾關(guān)鍵點(diǎn)定位模型。

6.根據(jù)權(quán)利要求5所述的服飾關(guān)鍵點(diǎn)定位方法，其特征在于，在所述確定所述第一多域多任務(wù)網(wǎng)絡(luò)中每一層的目標(biāo)權(quán)重之后，所述方法還包括：

在每個(gè)學(xué)習(xí)速率周期結(jié)束時(shí)，確定每個(gè)所述學(xué)習(xí)速率周期對(duì)應(yīng)的分類結(jié)果的損失值；

將各個(gè)所述損失值進(jìn)行平均，得到損失平均值；

基于所述損失平均值對(duì)所述目標(biāo)權(quán)重進(jìn)行調(diào)整，并將調(diào)整后的權(quán)重作為所述目標(biāo)權(quán)重。

7.根據(jù)權(quán)利要求5所述的服飾關(guān)鍵點(diǎn)定位方法，其特征在于，在所述基于所述第一多域多任務(wù)網(wǎng)絡(luò)中每一層的所述目標(biāo)權(quán)重，確定所述服飾關(guān)鍵點(diǎn)定位模型之后，所述方法還包括：

將所述融合圖像輸入所述服飾關(guān)鍵點(diǎn)定位模型，輸出所述服飾圖像對(duì)應(yīng)的分類結(jié)果圖像。