[發明專利]一種基于零樣本學習的人體行為識別方法

有效

• 申請號: 201911288489.6
• 申請日: 2019-12-12
• 公開（公告）號: CN111126218B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 孔德慧;孫彬;王少帆;李敬華
• 申請（專利權）人: 北京工業大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/774;G06V10/764;G06V10/82;G06N3/045;G06N3/042;G06N3/0464;G06N3/0475;G06N3/094
• 代理公司: 北京市中聞律師事務所 11388
• 代理人: 馮夢洪

公開一種基于零樣本學習的人體行為識別方法，其提高了所訓練分類器的分類性能和準確率，推進了人體行為類別自動標注目標的實現。該方法包括：(1)基于動作類與動作關聯物體構造知識圖譜，并通過基于注意力機制的圖卷積網絡AMGCN動態更新其關系，旨在更好地描述圖中節點的關系；(2)學習基于梯度懲罰和循環一致性約束的生成對抗網絡WGAN?GCC，使得學習的生成器能夠更好地生成未知類特征；(3)將圖卷積網絡和生成對抗網絡兩個網絡結合為雙流深度神經網絡，使得訓練的分類器更具判別性。

技術領域

本發明涉及計算機視覺和模式識別的技術領域，尤其涉及一種基于零樣本學習的人體行為識別方法。

背景技術

人體行為識別是機器學習和計算機視覺領域中一個重要的研究課題，在眾多研究課題中得到廣泛的應用，如人機交互，視頻監控，運動檢索和體育視頻分析等。當前，互聯網技術和新興社交媒體的飛速發展，以及人機交互技術應用領域的不斷拓展，使得圖像、視頻等形式的數據每天都在以驚人的速度增加，所涉及的人體行為的復雜度也在與日提高，且視頻類別數量也隨之增長。面對呈爆炸性增長的海量視頻數據，一個非常棘手的問題就是人體行為視頻數據標注問題。海量數據的手工標注，不僅是一個耗時且昂貴的操作，而且容易受人的主觀判斷的影響，因此手工標注是一項繁瑣又具主觀歧義性的任務。與此同時，傳統的行為識別方法囿于數據類別可擴展性的限制而不適用于識別未知類視頻，無法支持自動標注功能的實現。由此可見，如何從已標注的人體行為視頻中獲取潛在的信息，從而對未知的視頻進行有效的標注已成為目前一個迫切需要解決的問題。因此，零樣本人體行為識別方法最近受到廣泛的關注，其核心任務是在不提供同類別訓練數據的前提下對未知標簽的行為數據進行識別。

眾所周知，模型的訓練非常依賴數據的標注，所以零樣本學習問題給基于機器學習的模型訓練帶來了挑戰。已有解決零樣本學習問題的方法主要可分為兩類：(1)手工定義動作屬性并利用動作與屬性的關系來區分新的動作類。然而，人的主觀因素、領域知識的缺乏使得確定用于描述所有動作的一組屬性非常困難。此外，盡管屬性可以看作是數據驅動的學習，但是它們的語義含義可能是未知的或不恰當的。所以基于屬性的方法很難有效解決海量類別的零樣本學習問題。(2)采用動作名稱的語義表示(例如，詞嵌入)來建模語義空間中的動作與動作的關系實現分類。盡管這些方法簡單有效，但詞嵌入空間只能以隱式方式表示動作與動作的關系，所以分類性能較差。

上述兩類方法忽略了動作類別間存在的內涵式關系和外延關系，導致以上零樣本學習方法的泛化能力較差。實際上，人類使用經驗學習的語義知識，可借助概念語義內涵與外延的關聯，推而廣之地使自己具有識別更大規模概念的能力。因此，使用結構化知識信息來構建概念的關系(例如，動作和屬性)能夠將學到的知識從已知類遷移到未知類。一些基于圖卷積網絡(Graph?Convolutional?Networks，GCN)的方法通過將知識圖譜應用于零樣本學習，達成了知識遷移的目的。然而，這些方法所構建的鄰接矩陣在初始設置后保持不變，這使其無法自適應地描述圖中節點不斷變化的關系，導致知識遷移不完整。另外，現有的零樣本學習方法在訓練中無法使用未知類的樣本特征，這使得訓練的分類器更偏向于預測已知類的樣本類別。因此，在模型訓練過程中提供未知類行為相關的特征，使學習到的分類器更好地適應未知類動作的分類需求，必將有效提升零樣本分類方法性能。

發明內容

為克服現有技術的缺陷，本發明要解決的技術問題是提供了一種基于零樣本學習的人體行為識別方法，其提高了所訓練分類器的分類性能和準確率，推進了人體行為類別自動標注目標的實現。

本發明的技術方案是：這種基于零樣本學習的人體行為識別方法，該方法包括以下步驟：

(1)基于動作類與動作關聯物體構造知識圖譜，并通過基于注意力機制的圖卷積網絡AMGCN動態更新其關系，旨在更好地描述圖中節點的關系；

(2)學習基于梯度懲罰和循環一致性約束的生成對抗網絡WGAN-GCC，使得學習的生成器能夠更好地生成未知類特征；