[發(fā)明專利]一種基于圖遷移學(xué)習(xí)的通用人體解析框架及其解析方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910305230.1
• 申請(qǐng)日: 2019-04-16
• 公開（公告）號(hào): CN110111337A
• 公開（公告）日: 2019-08-09
• 發(fā)明（設(shè)計(jì)）人: 梁小丹;高一鳴;吳洋鑫;林倞
• 申請(qǐng)（專利權(quán)）人: 中山大學(xué)
• 主分類號(hào): G06T7/11
• 分類號(hào): G06T7/11;G06K9/62;G06K9/66;G06N3/04;G06N3/08
• 代理公司: 廣州容大專利代理事務(wù)所(普通合伙) 44326
• 代理人: 劉新年

1.一種基于圖遷移學(xué)習(xí)的通用人體解析框架，包括：

圖像特征提取單元，用于利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)人體圖像提取圖像特征；

圖內(nèi)推理單元，用于將提取的圖像特征映射到一個(gè)高層的圖卷積神經(jīng)網(wǎng)絡(luò)中，其中的語(yǔ)義結(jié)點(diǎn)和邊由數(shù)據(jù)集中類別以及類別間的關(guān)系決定，全局信息通過圖內(nèi)推理進(jìn)行傳播并重新映射以增強(qiáng)視覺特征的可區(qū)分性；

圖間遷移單元，用于從源圖網(wǎng)絡(luò)中提取相關(guān)的語(yǔ)義信息到目標(biāo)圖網(wǎng)絡(luò)，以將不同數(shù)據(jù)集的標(biāo)簽聯(lián)系起來，并利用來自不同數(shù)據(jù)集的不同標(biāo)簽集合之間的多種圖的特征遷移，來加強(qiáng)目標(biāo)圖網(wǎng)絡(luò)的類別特征。

2.如權(quán)利要求1所述的一種基于圖遷移學(xué)習(xí)的通用人體解析框架，其特征在于：所述圖內(nèi)推理單元首先將提取的圖像特征轉(zhuǎn)化成了圖結(jié)點(diǎn)的高層表示，即每個(gè)圖節(jié)點(diǎn)表示一個(gè)類別的信息，然后與某一特定部位相關(guān)聯(lián)的視覺特征經(jīng)過傳播，被聚合在一起用以增強(qiáng)對(duì)應(yīng)圖結(jié)點(diǎn)的特征。

3.如權(quán)利要求2所述的一種基于圖遷移學(xué)習(xí)的通用人體解析框架，其特征在于：于所述圖內(nèi)推理單元中，定義一個(gè)無向圖G＝(V,E)，其中V代表結(jié)點(diǎn)數(shù)，E代表邊數(shù)目，且N＝|V|，模型的輸入特征圖為其中H，W和C分別是特征圖的高、寬和通道數(shù)，引入N個(gè)結(jié)點(diǎn)的高層圖表示其中D是每個(gè)結(jié)點(diǎn)v∈V的特征維度，圖中的結(jié)點(diǎn)數(shù)N對(duì)應(yīng)于數(shù)據(jù)集中目標(biāo)部位標(biāo)簽的數(shù)目，映射通過函數(shù)Φ表示：

Z＝Φ(X,W)

其中W為用于轉(zhuǎn)化每個(gè)圖片特征x_i∈X轉(zhuǎn)化到維度D的可訓(xùn)練的轉(zhuǎn)化矩陣。

4.如權(quán)利要求3所述的一種基于圖遷移學(xué)習(xí)的通用人體解析框架，其特征在于：基于高層圖特征Z，所述圖內(nèi)推理單元利用人體結(jié)構(gòu)的先驗(yàn)知識(shí)語(yǔ)義約束對(duì)全局表示進(jìn)行修改。

5.如權(quán)利要求4所述的一種基于圖遷移學(xué)習(xí)的通用人體解析框架，其特征在于：基于圖卷積，所述圖內(nèi)推理單元對(duì)圖特征表示Z在所有部位結(jié)點(diǎn)上通過矩陣乘法的方式進(jìn)行圖傳播操作，得到修改后的圖特征Z^e：

Z^e＝σ(A^eZW^e)

其中是一個(gè)可訓(xùn)練的權(quán)重矩陣，σ是非線性函數(shù)。結(jié)點(diǎn)鄰接權(quán)重a_v→v′∈A^e由邊連接(v,v′)∈E定義，其中E是是一個(gè)歸一化的對(duì)稱鄰接矩陣。

6.如權(quán)利要求5所述的一種基于圖遷移學(xué)習(xí)的通用人體解析框架，其特征在于：所述圖內(nèi)推理單元反復(fù)進(jìn)行三次圖卷積。

7.如權(quán)利要求6所述的一種基于圖遷移學(xué)習(xí)的通用人體解析框架，其特征在于：于所述圖間遷移單元中，令源圖網(wǎng)絡(luò)和目標(biāo)圖網(wǎng)絡(luò)分別為G_s＝(V_s,E_s)，G_t＝(V_t,E_t)，其中G_s和G_t是可能有不同的結(jié)構(gòu)和特征的兩個(gè)圖，圖可以通過矩陣表示，其中N＝|V|，D是結(jié)點(diǎn)v的維度即v∈V，圖的轉(zhuǎn)換由下列式子表示：

Z_t＝Z_t+σ(A_trZ_sW_tr)

其中是將圖表示從Z_s映射到Z_t的轉(zhuǎn)換矩陣，是一個(gè)可訓(xùn)練的權(quán)重矩陣。

8.如權(quán)利要求7所述的一種基于圖遷移學(xué)習(xí)的通用人體解析框架，其特征在于：所述圖間遷移單元從手工關(guān)系、可學(xué)習(xí)的矩陣、特征相似度、語(yǔ)義相似度來構(gòu)建轉(zhuǎn)換矩陣。