[發明專利]一種基于圖遷移學習的通用人體解析框架及其解析方法

在審

• 申請號: 201910305230.1
• 申請日: 2019-04-16
• 公開（公告）號: CN110111337A
• 公開（公告）日: 2019-08-09
• 發明（設計）人: 梁小丹;高一鳴;吳洋鑫;林倞
• 申請（專利權）人: 中山大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06K9/62;G06K9/66;G06N3/04;G06N3/08
• 代理公司: 廣州容大專利代理事務所(普通合伙) 44326
• 代理人: 劉新年

本發明公開了一種基于圖遷移學習的通用人體解析框架及其解析方法，該框架包括：圖像特征提取單元，用于利用卷積神經網絡對人體圖像提取圖像特征；圖內推理單元，用于將提取的圖像特征映射到一個高層的圖卷積神經網絡中，其中的語義結點和邊由數據集中類別以及類別間的關系決定，全局信息通過圖內推理進行傳播并重新映射以增強視覺特征的可區分性；圖間遷移單元，用于從源圖網絡中提取相關的語義信息到目標圖網絡，以將不同數據集的標簽聯系起來，并利用不同標簽集合之間的多種圖的特征遷移，來加強目標圖網絡的類別特征。

技術領域

本發明涉及機器學習技術領域，特別是涉及一種基于圖遷移學習的通用人體解析框架及其解析方法。

背景技術

近期研究主要關注于為不同的人體解析應用包括前景人體分割任務、粗粒度衣物分割任務、細粒度人體部位及衣物解析任務等提出不同的、高度專用的人類理解模型。盡管人類的常見結構是相似的，潛在的語義信息也是可以共享的(如上衣可以是大衣或短袖)，但這些經多次調整的網絡模型因僅僅在單個數據集上擬合具有與其他數據集不同粒度的標簽而導致泛化能力下降，且這種方法常常受限于需要大量的數據標記、計算資源以及相關多層次任務間共享信息的缺乏。然而，人類的視覺系統可以在簡單查看人物圖片后完成人物的整體性理解。

通用人體解析最直觀的方法是在共享的分割骨干網絡上整合多個分割分支，然而這個方向的研究只考慮了蠻力的特征級別信息的共享，而忽視了潛在的共同的語義知識如標簽等級結構、標簽視覺相似度以及語言/上下文相關性。近期，一些技術嘗試通過復雜的圖模型(如條件隨機場)、結構敏感的損失函數或者關于人類姿態的先驗知識來捕捉豐富的結構信息，但是，他們沒有考慮固有的分類，也沒有對所有身體部位的顯式語義關聯進行建模，這將會導致在稀少且細粒度的標簽上難以得到令人滿意的結果。

發明內容

為克服上述現有技術存在的不足，本發明之目的在于提供一種基于圖遷移學習的通用人體解析框架及其解析方法，通過將深度卷積神經網絡提取的圖像特征被映射到一個高層的圖卷積神經網絡中，將全局信息通過圖內推理進行傳播并重新映射以增強視覺特征的可區分性，并將語義圖表示通過圖間遷移進行傳播和整合，以改善不同數據集的標注信息具有差異性的問題，能夠在常見的人體解析網絡結構上結合不同層次的圖遷移學習來對來自不同數據集的不同粒度標簽進行預測，并能避免計算復雜度的增加。

為達上述目的，本發明提出一種基于圖遷移學習的通用人體解析框架，包括：

圖像特征提取單元，用于利用卷積神經網絡對人體圖像提取圖像特征；

圖內推理單元，用于將提取的圖像特征映射到一個高層的圖卷積神經網絡中，其中的語義結點和邊由數據集中類別以及類別間的關系決定，全局信息通過圖內推理進行傳播并重新映射以增強視覺特征的可區分性；

圖間遷移單元，用于從源圖網絡中提取相關的語義信息到目標圖網絡，以將不同數據集的標簽聯系起來，并利用來自不同數據集的不同標簽集合之間的多種圖的特征遷移，來加強目標圖網絡的類別特征。

優選地，所述圖內推理單元首先將提取的圖像特征轉化成了圖結點的高層表示，即每個圖節點表示一個類別的信息，然后與某一特定部位相關聯的視覺特征經過傳播，被聚合在一起用以增強對應圖結點的特征。

優選地，于所述圖內推理單元中，定義一個無向圖G＝(V,E)，其中V代表結點數，E代表邊數目，且N＝|V|，模型的輸入特征圖為其中H，W和C分別是特征圖的高、寬和通道數，引入N個結點的高層圖表示其中D是每個結點v∈V的特征維度，圖中的結點數N對應于數據集中目標部位標簽的數目，映射可以通過函數Φ表示：

Z＝Φ(X,W)

其中W是用于轉化每個圖片特征x_i∈X轉化到維度D的可訓練的轉化矩陣。

優選地，基于高層圖特征Z，所述圖內推理單元利用人體結構的先驗知識語義約束對全局表示進行修改。