[發(fā)明專利]一種基于主動(dòng)學(xué)習(xí)的衣物關(guān)鍵點(diǎn)輔助標(biāo)注及預(yù)測(cè)優(yōu)化方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011556709.1
• 申請(qǐng)日: 2020-12-24
• 公開（公告）號(hào): CN112581528B
• 公開（公告）日: 2023-09-22
• 發(fā)明（設(shè)計(jì)）人: 溫才鎮(zhèn);施煜鍇;楊志景;凌永權(quán)
• 申請(qǐng)（專利權(quán)）人: 廣東工業(yè)大學(xué)
• 主分類號(hào): G06T7/70
• 分類號(hào): G06T7/70;G06V10/774;G06V10/82;G06N3/08
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 張金福

1.一種基于主動(dòng)學(xué)習(xí)的衣物關(guān)鍵點(diǎn)輔助標(biāo)注及預(yù)測(cè)優(yōu)化方法，其特征在于，包括以下步驟：

S1：根據(jù)衣物圖像數(shù)據(jù)構(gòu)建初始帶標(biāo)簽數(shù)據(jù)集和無標(biāo)簽數(shù)據(jù)測(cè)試集；具體為：

假設(shè)衣物關(guān)鍵點(diǎn)數(shù)據(jù)集中圖片數(shù)量為N張，衣物關(guān)鍵點(diǎn)的數(shù)量為K，衣物圖片表示為I，則衣物圖像數(shù)據(jù)集表示為其中，每張衣物圖片的關(guān)鍵點(diǎn)表示為根據(jù)最終需要構(gòu)建衣物圖片數(shù)據(jù)集數(shù)量的a％進(jìn)行所有的關(guān)鍵點(diǎn)標(biāo)注，作為初始帶標(biāo)簽數(shù)據(jù)集；剩下的圖片數(shù)據(jù)集均不進(jìn)行任何標(biāo)注，作為無標(biāo)簽數(shù)據(jù)測(cè)試集；其中，x_k表示衣物圖片中第k個(gè)關(guān)鍵點(diǎn)的橫坐標(biāo)，y_k表示衣物圖片中第k個(gè)關(guān)鍵點(diǎn)的縱坐標(biāo)；

S2：構(gòu)建衣物關(guān)鍵點(diǎn)預(yù)測(cè)網(wǎng)絡(luò)并利用初始帶標(biāo)簽數(shù)據(jù)集進(jìn)行訓(xùn)練，得到訓(xùn)練后的衣物關(guān)鍵點(diǎn)預(yù)測(cè)網(wǎng)絡(luò)；在所述步驟S2中，衣物關(guān)鍵點(diǎn)預(yù)測(cè)方法即是針對(duì)每一個(gè)關(guān)鍵點(diǎn)對(duì)其置信度圖進(jìn)行預(yù)測(cè)，即將衣物關(guān)鍵點(diǎn)預(yù)測(cè)問題轉(zhuǎn)化為對(duì)關(guān)鍵點(diǎn)置信度圖的預(yù)測(cè)問題，則通過式(1)(2)對(duì)構(gòu)建的衣物關(guān)鍵點(diǎn)預(yù)測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，具體為：

其中，S_k∈[0,1]^w×h表示第k個(gè)標(biāo)簽關(guān)鍵點(diǎn)的置信度圖；表示第k個(gè)關(guān)鍵點(diǎn)置信度圖；f^*(I_n；θ')∈[0,1]^w×h×K表示關(guān)鍵點(diǎn)預(yù)測(cè)函數(shù)；θ'表示衣物關(guān)鍵點(diǎn)預(yù)測(cè)網(wǎng)絡(luò)的參數(shù)；

S3：將無標(biāo)簽數(shù)據(jù)測(cè)試集作為訓(xùn)練后的衣物關(guān)鍵點(diǎn)預(yù)測(cè)網(wǎng)絡(luò)的輸入，使用主動(dòng)學(xué)習(xí)策略判斷關(guān)鍵點(diǎn)是否需要人工標(biāo)簽；在所述步驟S3中，將每張衣物圖片中的關(guān)鍵點(diǎn)是否需要手動(dòng)標(biāo)簽表示為向量其中v_i∈{0,1}，其值由兩個(gè)主動(dòng)學(xué)習(xí)策略進(jìn)行確定：

a)若衣物關(guān)鍵點(diǎn)預(yù)測(cè)網(wǎng)絡(luò)所預(yù)測(cè)的置信度圖，即出現(xiàn)了多個(gè)較高置信度的位置，采用置信度判斷策略計(jì)算v_i的值，當(dāng)滿足置信度判斷策略條件時(shí)，則將v_i設(shè)置為1；否則將v_i設(shè)置為0；

若的熵值較大，即不確定度較大，采用熵值判斷策略計(jì)算v_i的值，當(dāng)滿足熵值判斷策略條件時(shí)，則將v_i設(shè)置為1；否則將v_i設(shè)置為0；

S4：根據(jù)判斷結(jié)果對(duì)圖像關(guān)鍵點(diǎn)進(jìn)行標(biāo)注，完成衣物關(guān)鍵點(diǎn)輔助標(biāo)注；

S5：將步驟S4得到的已標(biāo)注圖像和初始帶標(biāo)簽數(shù)據(jù)集一起作為輸入，對(duì)衣物關(guān)鍵點(diǎn)預(yù)測(cè)網(wǎng)絡(luò)進(jìn)行持續(xù)訓(xùn)練，構(gòu)建最終的衣物關(guān)鍵點(diǎn)預(yù)測(cè)網(wǎng)絡(luò)，得到衣物圖片數(shù)據(jù)集。

2.根據(jù)權(quán)利要求1所述的一種基于主動(dòng)學(xué)習(xí)的衣物關(guān)鍵點(diǎn)輔助標(biāo)注及預(yù)測(cè)優(yōu)化方法，其特征在于，所述關(guān)鍵點(diǎn)置信度圖通過在標(biāo)簽點(diǎn)的位置上經(jīng)過一個(gè)2D的高斯濾波器生成。

3.根據(jù)權(quán)利要求1所述的一種基于主動(dòng)學(xué)習(xí)的衣物關(guān)鍵點(diǎn)輔助標(biāo)注及預(yù)測(cè)優(yōu)化方法，其特征在于，所述置信度判斷策略具體表達(dá)為：

其中，j₁表示置信度圖中置信度最大的值；j₂表示置信度圖中置信度第二大的值，ε表示滿足該條件的閾值。

4.根據(jù)權(quán)利要求1所述的一種基于主動(dòng)學(xué)習(xí)的衣物關(guān)鍵點(diǎn)輔助標(biāo)注及預(yù)測(cè)優(yōu)化方法，其特征在于，所述熵值判斷策略具體表達(dá)為：

其中，E_i表示置信度圖的熵，μ表示滿足熵的閾值。

5.根據(jù)權(quán)利要求3或4所述的一種基于主動(dòng)學(xué)習(xí)的衣物關(guān)鍵點(diǎn)輔助標(biāo)注及預(yù)測(cè)優(yōu)化方法，其特征在于，在所述步驟S3中，判斷關(guān)鍵點(diǎn)是否需要人工標(biāo)簽的過程即是判斷v_i是否等于1；在所述步驟S4中，對(duì)v_i＝1的關(guān)鍵點(diǎn)進(jìn)行人工手動(dòng)標(biāo)注；對(duì)v_i＝0的關(guān)鍵點(diǎn)進(jìn)行偽標(biāo)簽標(biāo)記，從而完成一張無標(biāo)簽衣物圖片所有關(guān)鍵點(diǎn)的標(biāo)注。

6.根據(jù)權(quán)利要求5所述的一種基于主動(dòng)學(xué)習(xí)的衣物關(guān)鍵點(diǎn)輔助標(biāo)注及預(yù)測(cè)優(yōu)化方法，其特征在于，在所述步驟S4中，偽標(biāo)簽標(biāo)記過程具體為：

對(duì)v_i＝0的關(guān)鍵點(diǎn)使用衣物關(guān)鍵點(diǎn)預(yù)測(cè)網(wǎng)絡(luò)的置信度圖選取置信度最高的最表作為關(guān)鍵點(diǎn)的位置，然后將該位置作為關(guān)鍵點(diǎn)的偽標(biāo)簽標(biāo)注信息。