[發(fā)明專利]一種基于雙通道3D-2D RBM模型的視頻行為識別方法

有效

• 申請?zhí)枺?/td>: 201710845449.1
• 申請日: 2017-09-19
• 公開（公告）號: CN107967441B
• 公開（公告）日: 2021-03-30
• 發(fā)明（設(shè)計(jì)）人: 李敬華;淮華瑞;王立春;孔德慧;閆會霞;尹寶才
• 申請（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08;G06T5/20
• 代理公司: 北京思海天達(dá)知識產(chǎn)權(quán)代理有限公司 11203
• 代理人: 張慧

本發(fā)明公開一種基于雙通道3D?2DRBM模型的視頻行為識別方法，提出了3D張量到2D矩陣變量的受限玻爾茲曼機(jī)，即輸入為3階張量變量，輸出為2階矩陣變量的RBM，稱其為3D?2D RBM；該模型解決了前兩個(gè)模型在處理3D視頻數(shù)據(jù)上的劣勢，也更好地保存了3D視頻數(shù)據(jù)的時(shí)空信息，可以得到了較好的動態(tài)手勢識別率。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺與機(jī)器學(xué)習(xí)領(lǐng)域，具體地涉及一種基于雙通道3D-2DRBM模型的視頻行為識別方法。

背景技術(shù)

受限玻爾茲曼機(jī)(RBM)是一個(gè)無向概率圖模型。RBM模型通過一組樣本學(xué)習(xí)可見層和隱藏層之間的連接權(quán)值和偏置值，使在最優(yōu)的一組模型參數(shù)下，所有樣本發(fā)生的概率最大，進(jìn)而得到輸入數(shù)據(jù)的有效表示。RBM強(qiáng)大的特征提取以及表達(dá)能力，使其在模式識別、機(jī)器學(xué)習(xí)等領(lǐng)域廣受歡迎。不過傳統(tǒng)的受限玻爾茲曼機(jī)(RBM)通常是基于向量形式的輸入輸出數(shù)據(jù)或者變量，但來源于現(xiàn)實(shí)中的數(shù)據(jù)多為更一般的高階結(jié)構(gòu)，如2D圖像，3D視頻等。傳統(tǒng)的RBM方法在處理上述結(jié)構(gòu)時(shí)通常進(jìn)行高階數(shù)據(jù)的向量化處理，這樣的處理會破壞圖像/視頻的空間或時(shí)空結(jié)構(gòu)信息。齊光磊等提出了矩陣變量受限玻爾茲曼機(jī)(MVRBM)，MVRBM是面向2D數(shù)據(jù)提出的，該模型的輸入和輸出數(shù)據(jù)變量都是基于矩陣形式的，該模型解決了傳統(tǒng)的RBM的不足，使模型在訓(xùn)練和測試過程中能夠保持2D矩陣數(shù)據(jù)的空間信息，能夠很好地處理二維圖像數(shù)據(jù)。但在處理3D視頻數(shù)據(jù)時(shí)，需要先把3D數(shù)據(jù)表示成2D數(shù)據(jù)，這樣的處理必然會損失原始3D數(shù)據(jù)的時(shí)空信息，不能保證數(shù)據(jù)的完整性。

動態(tài)手勢識別是模式識別以及計(jì)算機(jī)視覺領(lǐng)域的一個(gè)熱點(diǎn)研究課題，研究重心通常包括特征提取和分類器設(shè)計(jì)兩個(gè)方面。分類器設(shè)計(jì)方面包括神經(jīng)網(wǎng)絡(luò)、隱馬爾科夫模型等。特征提取方面通常包括手工定義的外觀特征和運(yùn)動特征，外觀特征如手形、手部重心位置、S I FT特征、矩特征以及HOG特征等；運(yùn)動特征如光流、軌跡特征等。手工定義的特征提取方法已取得很大成功，但通常需要先驗(yàn)知識，特別地，該方法提取的特征多為底層特征，不能反映信號的高層語義信息。近年來，深度學(xué)習(xí)方法受到廣泛關(guān)注，在圖像分類、對象定位等中取得很好成績。本發(fā)明擬結(jié)合傳統(tǒng)方法和學(xué)習(xí)方法的優(yōu)勢，提出新的動態(tài)手勢識別方法。

發(fā)明內(nèi)容

在傳統(tǒng)的受限玻爾茲曼機(jī)(RBM)以及改進(jìn)的矩陣變量受限玻爾茲曼機(jī)(MVRBM)模型的共同啟發(fā)下，本發(fā)明提供一種基于雙通道3D-2DRBM模型的視頻行為識別方法，可以得到較好的動態(tài)手勢識別率。

為實(shí)現(xiàn)上述目的，本發(fā)明采用如下的技術(shù)方案：

一種基于雙通道3D-2DRBM模型的視頻行為識別方法，包括以下步驟：

步驟一、訓(xùn)練階段：

(1.1)針對輸入的多組動態(tài)手勢視頻數(shù)據(jù)，分別進(jìn)行計(jì)算光流特征提取處理和Canny算子去邊緣處理；

(1.2)對于光流和Canny處理后得到的全部視頻中的每一幀手動提取矩陣形式MxS大小的2D HOG特征，得到FLOW-HOG和Canny-HOG雙通道特征，定義訓(xùn)練數(shù)據(jù)中每個(gè)手勢動作視頻用T幀描述，一個(gè)視頻動作的每個(gè)通道特征可以表示為TxMxS的3階張量形式；

(1.3)將大小為TxMxS的FLOW-HOG特征和Canny-HOG特征分別輸入到3D-2D RBM模型中進(jìn)行訓(xùn)練，通過不斷的調(diào)整參數(shù)各自訓(xùn)練出最優(yōu)的3D-2D RBM模型；

(1.4)以3D-2D RBM初始化NN模型，NN的輸入和隱層節(jié)點(diǎn)數(shù)對應(yīng)3D-2D RBM的輸入和輸出的向量化的維度；3D-2D RBM模型的三個(gè)矩陣形式的權(quán)重參數(shù)的克羅內(nèi)克積作為NN網(wǎng)絡(luò)的輸入到隱層權(quán)重參數(shù)的初始值，通過反向傳播算法不斷調(diào)節(jié)NN的網(wǎng)絡(luò)參數(shù)。

步驟二、測試階段：

(2.1)與訓(xùn)練階段(1.1)(1.2)一樣，首先對測試數(shù)據(jù)進(jìn)行同樣的光流和Canny算子的處理；