[發明專利]基于生成對抗網絡正樣本增強的多姿態人體目標跟蹤方法

有效

• 申請號: 201810635079.3
• 申請日: 2018-06-20
• 公開（公告）號: CN108960086B
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 周雪;周琦棟;鄒見效;徐紅兵
• 申請（專利權）人: 電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 成都行之專利代理事務所(普通合伙) 51220
• 代理人: 溫利平;陳靚靚

本發明公開了一種基于生成對抗網絡正樣本增強的多姿態人體目標跟蹤方法，分別對StarGAN網絡模型和MDNet算法模型進行預訓練，然后采用首幀標定的人體目標的目標矩形框對MDNet算法模型進行初始化，持續采用MDNet算法模型進行跟蹤，提取上一幀跟蹤結果對應的目標矩形框圖像并添加姿態標簽輸入StarGAN網絡模型，將StarGAN網絡模型中生成器網絡的輸出作為正樣本，作為MDNet算法模型更新訓練時所采用的正樣本的一部分，在跟蹤過程中根據需要對MDNet算法模型進行更新訓練。本發明能夠提高MDNet算法模型對人體目標跟蹤的準確度，抑制跟蹤漂移。

技術領域

本發明屬于目標跟蹤技術領域，更為具體地講，涉及一種基于生成對抗網絡正樣本增強的多姿態人體目標跟蹤方法。

背景技術

人體目標跟蹤任務中，人體姿態變化會導致跟蹤漂移或者失敗，其原因是當人體發生形變或者角度變化時，其表觀特征會發生變化，與初始跟蹤時的目標有較大差異。針對此問題，一般傳統的跟蹤方法會根據先驗知識選用對姿態變化較為魯棒的目標特征，例如顏色特征及輪廓特征。大多數具有模型更新環節的跟蹤算法利用人體目標運動的連續性，跟蹤算法的模型更新基于對歷史幀圖像目標周圍的采樣訓練，使得跟蹤模型能夠較好地跟蹤變化平滑緩慢的人體目標，學習并適應目標的變化。而基于分類原理的跟蹤器往往是通過豐富預訓練樣本來提高對人體目標變化的魯棒性，即在預訓練中就加入多姿態變化的訓練樣本，使得跟蹤模型學習到多姿態變化目標的一般屬性，進而完成對跟蹤任務中具體目標的跟蹤。

上述的跟蹤方法除了選用對姿態變化魯棒的特征外，都是被動地應對姿態變化問題，只是依賴人體目標的連續性或提取姿態變化的一般屬性來維持對目標的跟蹤，而并沒有主動地去解決姿態變化問題，當人體目標運動較快變化較大時依然會導致跟蹤漂移及跟蹤失敗。而使用魯棒的目標特征也常常因為特征表達不足或姿態變化中目標特征變化過大而跟蹤失敗。

圖像轉換是圖像處理與計算機視覺領域的經典問題，其目的是通過給定充足的訓練數據，學習輸入圖像到輸出圖像的映射關系，從而將一幅輸入圖像轉換為對應指定的輸出圖像。也可以理解為多域轉換問題，即具有相同屬性特征的圖像屬于同一個域，那么圖像的轉換就是不同域圖像之間的轉換。傳統的圖像轉換方法都是基于像素到像素的映射或預測的思想，隨著深度學習的迅速發展，卷積神經網絡成為解決圖像轉換問題的常用方法，使用卷積神經網絡的方法去學習減小衡量結果質量的損失函數，但是在圖像轉換任務中使用卷積神經網絡去實現輸出銳利、逼真的圖像是很困難的，這需要大量先驗知識。

生成對抗網絡在2014年被提出后迅速成為研究熱點，其在圖像轉換領域同樣有許多應用。例如Deepak Pathak等人提出的語義編碼器(context-encoders)利用卷積神經網絡加生成對抗網絡完成圖像修復任務，Yipin Zhou等人使用生成對抗網絡對物體未來狀態進行描述，從而實現對時滯(time-lapse)視頻中物體變化的預測。上述基于生成對抗網絡的圖像轉換方法都是基于無條件的，即網絡的設計訓練沒有添加先驗條件，Phillip Isola等人提出基于條件生成對抗網絡的圖像轉換方法“pix2pix”，使得輸出對輸入具有條件性。

現有的圖像轉換方法大多基于有監督體系，使用圖像對數據集作為訓練樣本。然而成對的訓練數據難以獲得，構建一個成對的數據集十分困難而且耗時耗力，現有滿足條件的數據庫很少而且體量較小。針對此問題，人們研究出了一些基于非圖像對數據集的圖像轉換方法。CycleGAN、DualGAN及DiscoGAN三種方法都是借助生成對抗網絡實現兩個域的數據遷移，即圖像轉換問題。以CycleGAN為例，其網絡模型基于循環一致性(CycleConsistency)理論，在訓練生成對抗網絡時加入循環一致性損失函數。在將一類圖片轉換成另一類圖片的任務中，CycleGAN網絡模型的訓練僅需要兩類圖片的樣本空間，即兩類圖片的數據集，而不需要指明兩個數據集之前的圖片對應關系，即圖像對。

發明內容