[發(fā)明專利]基于三維卷積神經(jīng)網(wǎng)絡(luò)的多人動作檢測與識別方法與裝置

在審

• 申請?zhí)枺?/td>: 201911032206.1
• 申請日: 2019-10-28
• 公開（公告）號: CN110866458A
• 公開（公告）日: 2020-03-06
• 發(fā)明（設(shè)計(jì)）人: 宋波
• 申請（專利權(quán)）人: 北京影譜科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京萬思博知識產(chǎn)權(quán)代理有限公司 11694
• 代理人: 姜楠楠

1.一種基于三維卷積神經(jīng)網(wǎng)絡(luò)的多人動作檢測與識別方法，包括：

對訓(xùn)練數(shù)據(jù)集的視頻進(jìn)行預(yù)處理，獲得每個人的身體動作的序列；

將提取的每個人的身體動作的序列輸入到三維卷積神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行動作檢測與識別，所述的三維卷積神經(jīng)網(wǎng)絡(luò)模型包括兩個3D卷積池化單元、兩個卷積層、兩個最大池化層、一個平坦層、兩個完全連接層、以及輸出層。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述的對訓(xùn)練數(shù)據(jù)集的視頻進(jìn)行預(yù)處理包括：

從訓(xùn)練數(shù)據(jù)集的視頻中分離人體；

從分離完人體的視頻中提取每個人的身體動作的序列。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述的從訓(xùn)練數(shù)據(jù)集的視頻中分離人體包括：

使用每兩個圖像之間的SAD連續(xù)的初始化值和每個塊的熵的背景評估方法來確定背景幀；

對背景幀進(jìn)行計(jì)算，得到差分絕對圖像，然后對差分絕對圖像進(jìn)行結(jié)構(gòu)紋理分解，獲得移動物體的區(qū)域，完成人體分離。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述的從分離完人體的視頻中提取每個人的身體動作的序列采用基于核心化相關(guān)濾波器的擴(kuò)展版本的跟蹤方法來完成。

5.根據(jù)權(quán)利要求1-4中任一項(xiàng)所述的方法，其特征在于，

所述的預(yù)處理還包括從訓(xùn)練數(shù)據(jù)集的視頻中提取運(yùn)動歷史圖像；

將提取的運(yùn)動歷史圖像和每個人的身體動作的序列相結(jié)合，并共同輸入到三維卷積神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行動作檢測與識別。

6.一種基于三維卷積神經(jīng)網(wǎng)絡(luò)的多人動作檢測與識別裝置，包括：

預(yù)處理模塊，其配置成對訓(xùn)練數(shù)據(jù)集的視頻進(jìn)行預(yù)處理，獲得每個人的身體動作的序列；

檢測與識別模塊，其配置成將提取的每個人的身體動作的序列輸入到三維卷積神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行動作檢測與識別，所述的三維卷積神經(jīng)網(wǎng)絡(luò)模型包括兩個3D卷積池化單元、兩個卷積層、兩個最大池化層、一個平坦層、兩個完全連接層、以及輸出層。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述的預(yù)處理模塊包括：

人體分離子模塊，其配置成從訓(xùn)練數(shù)據(jù)集的視頻中分離人體；

序列提取子模塊，其配置成從分離完人體的視頻中提取每個人的身體動作的序列。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述的人體分離子模塊包括：

背景幀子模塊，其配置成使用每兩個圖像之間的SAD連續(xù)的初始化值和每個塊的熵的背景評估方法來確定背景幀；

結(jié)構(gòu)紋理分解子模塊，其配置成對背景幀進(jìn)行計(jì)算，得到差分絕對圖像，然后對差分絕對圖像進(jìn)行結(jié)構(gòu)紋理分解，獲得移動物體的區(qū)域，完成人體分離。

9.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述的從分離完人體的視頻中提取每個人的身體動作的序列采用基于核心化相關(guān)濾波器的擴(kuò)展版本的跟蹤方法來完成。

10.根據(jù)權(quán)利要求6-9中任一項(xiàng)所述的裝置，其特征在于，

所述的預(yù)處理模塊還包括：

歷史圖像提取子模塊，其配置成從訓(xùn)練數(shù)據(jù)集的視頻中提取運(yùn)動歷史圖像；

所述的檢測與識別模塊中，將提取的運(yùn)動歷史圖像和每個人的身體動作的序列相結(jié)合，并共同輸入到三維卷積神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行動作檢測與識別。