[發明專利]基于漸進式關系學習的群體行為識別模型及其訓練方法

在審

• 申請號: 201910798505.X
• 申請日: 2019-08-27
• 公開（公告）號: CN110516599A
• 公開（公告）日: 2019-11-29
• 發明（設計）人: 胡古月;余山;崔波;何媛
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 11576 北京市恒有知識產權代理事務所(普通合伙)
• 代理人: 郭文浩;尹文會<國際申請>=<國際公布>

本發明屬于行為識別領域，具體涉及一種基于漸進式關系學習的群體行為識別模型及其訓練方法，旨在通過挖掘群體行為中的關鍵關系來解決現有技術中群體行為識別準確度不高的問題。本發明群體行為識別模型包括語義關系圖生成網絡、強化學習網絡和softmax分類層；并對所述語義關系圖網絡、所述強化學習網絡兩個網絡，輪替的保持其中一個網絡的網絡參數不變/移除該網絡的基礎上訓練另外一個網絡的網絡參數，直至達到預設的訓練結束條件，獲得訓練后的所述群體行為識別模型。通過本發明得到的群體行為識別模型的具有更高的識別準確度。

技術領域

本發明屬于行為識別領域，具體涉及一種基于漸進式關系學習的群體行為識別模型及其訓練方法。

背景技術

行為識別在智能監控、人機交互和自動駕駛等領域有著廣泛的應用。依照參與的個體數目，行為識別可以分為單個體行為識別、雙個體行為識別和群體行為識別。群體行為識別具有參數個體較多的特點，不但需要建模每個個體的時空動力學，而且需要建模個體間復雜的相互作用關系。同時，群體行為視頻中富含大量的語義噪聲，群體行為的類別通常僅由少數的關鍵人物和關鍵的語義關系決定。因此，群體行為識別是一個既有廣泛應用價值又極具挑戰性的任務。

現有的群體行為識別方法，主要通過啟發式先驗設定或者利用“自注意”機制來選擇群體中重要的個體，但這種選擇停留在較粗的個體粒度上，沒有探究在更細的關系粒度上，到底哪些關系是與群體行為有關的語義關系哪些是噪聲誘導的無效關系。同時，現有方法主要依托長短時程記憶網絡(LSTM)或者消息傳播網絡(MPNN)隱式的建模視頻中的關系，因此難以對某個特定的關系進行選擇性的放大或者抑制。因此造成了現有群體行為識別準確度不高的問題。

發明內容

為了解決現有技術中的上述問題，即為了解決現有技術中群體行為識別準確度不高的問題，本發明的第一方面，一種基于漸進式關系學習的群體行為識別模型，其特征在于，所述群體行為識別模型包括語義關系圖生成網絡、強化學習網絡和softmax分類層；

所述語義關系圖生成網絡，用于獲取待識別視頻片段的選定視頻幀中多個個體的語義關系圖；

所述強化學習網絡，用于獲取所述語義關系圖中各邊的門控值，基于得到的各邊的門控值對所述語義關系圖進行門控調整；

所述softmax分類層，用于基于所述強化學習網絡得到的所述待識別視頻片段各選定視頻幀的語義關系圖，對待識別視頻片段進行群體行為分類。

在一些優選的實施方式中，所述強化學習網絡為基于馬爾科夫決策過程的強化學習模型。

在一些優選的實施方式中，所述強化學習網絡的輸入包括語義關系圖的局部關系組狀態S_l、整體關系組狀態S_g、全局屬性狀態S_u，獲取語義關系圖中的每條關系對應的門控值，并輸出基于得到的各邊的門控值調整后的語義關系圖。

在一些優選的實施方式中，所述語義關系圖生成網絡中獲取視頻幀中個體們的語義關系圖的方法為：

步驟S110，基于視頻幀中個體的時空特征和個體間的交互關系，構建的初始語義關系圖；

步驟S120，基于步驟S110中構建的初始語義關系圖中編碼的上下文信息，對當前語義關系圖進行更新，獲得更新后的語義關系圖。

在一些優選的實施方式中，步驟S110中“基于視頻幀中個體的時空特征和個體間的交互關系，構建的初始的語義關系圖”，其方法為：

步驟S111，將所述訓練樣本中個體的時空特征通過全連接層以獲取時空特征的低維嵌入；

步驟S112，將所述訓練樣本中個體間的交互關系通過全連接層以獲取交互關系的高維嵌入；