[發(fā)明專利]基于四元數(shù)時(shí)空卷積神經(jīng)網(wǎng)絡(luò)的人體行為識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710471157.6
• 申請(qǐng)日: 2017-06-20
• 公開(kāi)（公告）號(hào): CN107341452B
• 公開(kāi)（公告）日: 2020-07-14
• 發(fā)明（設(shè)計(jì)）人: 孟勃;劉雪君;王曉霖
• 申請(qǐng)（專利權(quán)）人: 東北電力大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/08
• 代理公司: 北京金智普華知識(shí)產(chǎn)權(quán)代理有限公司 11401
• 代理人: 皋吉甫

1.一種基于四元數(shù)時(shí)空卷積神經(jīng)網(wǎng)絡(luò)的人體行為識(shí)別方法，其特征在于，所述方法具體為：

(1)構(gòu)建四元數(shù)時(shí)空卷積神經(jīng)網(wǎng)絡(luò)；

(2)將包含多種人體動(dòng)作的F組彩色圖像表示為四元數(shù)的形式，將其中f組彩色圖像作為訓(xùn)練集，將訓(xùn)練集作為訓(xùn)練樣本輸入所述四元數(shù)時(shí)空卷積神經(jīng)網(wǎng)絡(luò)，并利用BP算法訓(xùn)練訓(xùn)練集樣本，得到訓(xùn)練好的四元數(shù)時(shí)空卷積神經(jīng)網(wǎng)絡(luò)；

(3)將其他F-f組彩色圖像作為樣本輸入訓(xùn)練好的四元數(shù)時(shí)空卷積神經(jīng)網(wǎng)絡(luò)，利用訓(xùn)練好的四元數(shù)時(shí)空卷積神經(jīng)網(wǎng)絡(luò)將彩色圖像分類，實(shí)現(xiàn)人體行為識(shí)別；

所述四元數(shù)時(shí)空卷積神經(jīng)網(wǎng)絡(luò)包括空間卷積層、時(shí)間卷積層、下采樣層、全連接層、長(zhǎng)短時(shí)記憶單元和分類器；樣本經(jīng)空間卷積層、時(shí)間卷積層、下采樣層循環(huán)P次得到樣本的特征圖序列，全連接層將序列中每一個(gè)特征圖都拉伸成一個(gè)特征向量，長(zhǎng)短時(shí)記憶單元將特征向量輸送至分類器，分類器依據(jù)特征向量將樣本分類；

所述四元數(shù)時(shí)空卷積神經(jīng)網(wǎng)絡(luò)包括3P+1層結(jié)構(gòu)；

F、f、P均為自然數(shù)。

2.根據(jù)權(quán)利要求1所述基于四元數(shù)時(shí)空卷積神經(jīng)網(wǎng)絡(luò)的人體行為識(shí)別方法，其特征在于，所述包含多種人體動(dòng)作的F組彩色圖像表示為四元數(shù)的形式為：

彩色圖像Q中(x,y)位置的像素用一個(gè)純四元數(shù)表示，公式如下：

Q(x,y)＝Q_r(x,y)i+Q_g(x,y)j+Q_b(x,y)k

或表示為向量的形式：

Q(x,y)＝(Q_r(x,y),Q_g(x,y),Q_b(x,y))

其中，Q_r(x,y)，Q_g(x,y)和Q_b(x,y)分別為像素的R,G和B通道的值；一張彩色圖像可以表示為：

Q＝(Q_r,Q_g,Q_b)；

所述四元數(shù)時(shí)空卷積神經(jīng)網(wǎng)絡(luò)的卷積核以四元數(shù)形式。

3.根據(jù)權(quán)利要求1所述基于四元數(shù)時(shí)空卷積神經(jīng)網(wǎng)絡(luò)的人體行為識(shí)別方法，其特征在于，在步驟(2)和步驟(3)中所述彩色圖像經(jīng)過(guò)預(yù)處理后作為樣本輸入，所述預(yù)處理方法為采用碼本模型，以a×d的檢測(cè)窗口提取圖像中人體運(yùn)動(dòng)的關(guān)鍵區(qū)域，并保存區(qū)域圖像；

檢測(cè)窗口的大小根據(jù)所述彩色圖像中人體的大小進(jìn)行選擇，以在包括人體的條件下盡可能小的尺寸；

a、d為常數(shù)。

4.根據(jù)權(quán)利要求2所述的基于四元數(shù)時(shí)空卷積神經(jīng)網(wǎng)絡(luò)的人體行為識(shí)別方法，其特征在于，所述空間卷積層的具體操作為：在四元數(shù)時(shí)空卷積層，卷積核被擴(kuò)展成純四元數(shù)的表示形式W＝(W_r,W_g,W_b)，按照下式的卷積操作，輸入一張彩色圖像Q＝(Q_r,Q_g,Q_b)，第i層第j個(gè)特征圖中(x,y)位置的卷積結(jié)果為：

W×Q＝(W_gQ_b-W_bQ_g,W_bQ_r-W_rQ_b,W_rQ_g-W_gQ_r)

其中，f是sigmoid函數(shù)，b^i,j是第i層第j個(gè)特征圖的偏置，是第i層第j個(gè)特征圖和第i-1層第p個(gè)特征圖之間的卷積核的(n,m)位置的權(quán)值向量，N和M是卷積核的長(zhǎng)和寬；Q^(i-1),p(x+n,y+m)表示第i-1層第p個(gè)特征圖Q中的(x+n,y+m)位置的像素；Z^i,i(x,y)表示第i層第j個(gè)特征圖中(x,y)位置的卷積結(jié)果；

操作是兩個(gè)純四元數(shù)向量元素對(duì)應(yīng)相乘，提取的是每個(gè)通道上的空間特征；×操作是叉積操作，提取的是不同顏色通道的空間關(guān)系。