[發明專利]一種基于多模態序列融合的動作識別方法

有效

• 申請號: 201410337744.2
• 申請日: 2014-07-15
• 公開（公告）號: CN104156693B
• 公開（公告）日: 2017-06-06
• 發明（設計）人: 劉安安;蘇育挺;馬莉
• 申請（專利權）人: 天津大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/66
• 代理公司: 天津市北洋有限責任專利代理事務所12201
• 代理人: 溫國林

技術領域

本發明涉及計算機視覺、人體動作識別領域，尤其涉及一種基于多模態序列融合的動作識別方法。

背景技術

人體動作識別在智能視頻監控、人機交互、視頻檢索等領域中具有廣闊的應用前景，已逐漸成為計算機視覺領域的研究熱點。現有技術中的很多研究工作主要是利用普通RGB攝像機獲得的圖像序列來進行動作識別，并在一些經典的數據庫上驗證了其有效性。然而，由于光照變化、人體外形的多樣性、遮擋等因素的干擾，人體動作識別仍然是一項具有挑戰性的工作。

近年來，將深度圖像序列引入人體動作識別領域成為了一個新興的熱點問題。這主要是由于深度攝像機的成本大大降低，尤其是微軟推出的3D體感攝影機Kinect，其成本低廉、所攝取的圖像分辨率高。與彩色圖像相比，深度圖像能直接反映物體表面的三維特征，且不受光照變化、陰影、環境變化等因素的干擾。此外，深度圖像表示物體在3D空間中的坐標，可以很好的克服遮擋或重疊問題。人體骨架可以用來有效地表征人體區域及輪廓信息，它能反映出人體運動的軌跡，包含很多運動信息，骨架信息能夠直接反映人體的位置信息，且不會受到光照、陰影、遮擋等因素的干擾。

RGB信息、深度信息、骨架信息、熱傳感信息等分別代表著同一個場景的不同形式，通過將這些不同模態的信息融合進行序列建模，可以提升動作識別的準確率。但是由于不同模態的信息于不同的流形空間且值域不同，直接將其融合并不能得到最佳效果。所以，如何進一步多模態序列進行互補融合，是人體動作識別中亟待解決的問題。

發明內容

本發明提供了一種基于多模態序列融合的動作識別方法，本發明實現了RGB信息與深度信息的互補，顯著地提高了動作識別的準確率，詳見下文描述：

一種基于多模態序列融合的動作識別方法，所述方法包括以下步驟：獲得原始視頻多種模態下的信息，并進行預處理。包括對原始視頻的RGB圖像序列和深度圖像序列進行預處理，獲取初始RGB圖像序列及初始深度圖像序列，以及獲取骨架特征序列；

對初始RGB圖像序列進行背景建模，通過得到的背景建模結果來提取第一人體區域外接矩形，同時提取初始深度圖像序列上相應位置的第二人體區域外接矩形；

在第一、第二人體區域外接矩形上分別提取人體動作特征，得到RGB模態和深度模態下的特征向量；

根據步驟103中得到的RGB-LBP、D-LBP特征向量序列，以及步驟101中得到的骨架特征序列，通過多視角判別模型來進行動作識別。。

所述根據RGB-LBP、D-LBP特征向量，以及骨架特征序列，通過多視角判別模型來進行動作識別的步驟具體為：

(1)多視角判別模型的表示：

多視角判別模型的條件概率模型可以表示為：

其中，X是觀測序列，Y是序列標記，H是隱狀態變量，θ是權重向量且θ＝{θ₁,θ₂}，θ₁和θ₂表示權重，T表示轉置，φ(Y,X,H)是特征函數，表示由圖模型中節點位置以及節點之間的關聯而決定的序列特征，Z是歸一化的分配函數，用來進行概率歸一化。

(2)多視角判別模型的學習：

目標函數為：

其中，X_i表示觀測樣例，Y_i表示觀測樣例真實的標注，使得上式取得最小值的θ值，即是最優參數θ。

(3)多視角判別模型的判斷：在多視角判別模型參數已經確定之后，判斷觀測序列X的分類最優標記Y^*，確定動作類別，

本發明提供的技術方案的有益效果是：本方法根據得到的RGB-LBP、D-LBP特征向量，以及骨架特征序列，通過多視角判別模型的學習和判斷來進行動作識別。本發明能夠將RGB信息、深度信息和骨架信息進行互補，可以顯著的提高動作識別的準確率。

附圖說明

圖1為基于多模態序列融合的動作識別方法的流程圖；

圖2為LBP特征算法示意圖；

圖3為多視角判別模型的示意圖；

具體實施方式

為使本發明的目的、技術方案和優點更加清楚，下面對本發明實施方式作進一步地詳細描述。

為了將多模態序列進行互補融合，提高動作識別的準確率，本發明實施例提供了一種基于多模態序列融合的動作識別方法，參見圖1，詳見下文描述：