[發(fā)明專利]一種動(dòng)作識(shí)別方法、裝置及電子設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010269317.0
• 申請(qǐng)日: 2020-04-08
• 公開（公告）號(hào): CN111507219A
• 公開（公告）日: 2020-08-07
• 發(fā)明（設(shè)計(jì)）人: 劉文印;鐘經(jīng)謀;陳俊洪;梁達(dá)勇;朱展模
• 申請(qǐng)（專利權(quán)）人: 廣東工業(yè)大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 史翠

1.一種動(dòng)作識(shí)別方法，其特征在于，包括：

獲取目標(biāo)視頻段，識(shí)別所述目標(biāo)視頻段中每幀圖像的人體關(guān)節(jié)點(diǎn)位置和手部關(guān)節(jié)點(diǎn)位置；

根據(jù)每幀所述圖像的人體關(guān)節(jié)點(diǎn)位置和手部關(guān)節(jié)點(diǎn)位置構(gòu)建所述目標(biāo)視頻段對(duì)應(yīng)的無(wú)向空間時(shí)間圖；

基于所述無(wú)向空間時(shí)間圖提取所述目標(biāo)視頻段中的人體姿勢(shì)特征和手部姿勢(shì)特征；

將所述人體姿勢(shì)特征和所述手部姿勢(shì)特征輸入分類器中以便完成動(dòng)作識(shí)別。

2.根據(jù)權(quán)利要求1所述動(dòng)作識(shí)別方法，其特征在于，所述基于所述無(wú)向空間時(shí)間圖提取所述目標(biāo)視頻段中的人體姿勢(shì)特征和手部姿勢(shì)特征，包括：

利用時(shí)空?qǐng)D卷積網(wǎng)絡(luò)從所述無(wú)向空間時(shí)間圖中提取所述目標(biāo)視頻段中的人體姿勢(shì)特征和手部姿勢(shì)特征。

3.根據(jù)權(quán)利要求1所述動(dòng)作識(shí)別方法，其特征在于，所述無(wú)向空間時(shí)間圖包括點(diǎn)集合和邊集合；

所述點(diǎn)集合包括第一點(diǎn)集合、第二點(diǎn)集合和第三點(diǎn)集合，所述第一點(diǎn)集合為根節(jié)點(diǎn)的集合，所述第二點(diǎn)集合為比所述根節(jié)點(diǎn)更靠近骨架重心的相鄰節(jié)點(diǎn)的集合，所述第三點(diǎn)集合為比所述根節(jié)點(diǎn)更遠(yuǎn)離所述骨架重心的相鄰節(jié)點(diǎn)的集合；

所述邊集合包括描述骨骼間連接的第一邊集合和描述相鄰幀間的連接的第二邊集合。

4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述動(dòng)作識(shí)別方法，其特征在于，將所述人體姿勢(shì)特征和所述手部姿勢(shì)特征輸入分類器中以便完成動(dòng)作識(shí)別，包括：

將所述人體姿勢(shì)特征和所述手部姿勢(shì)特征輸入分類器中以便得到所述目標(biāo)視頻段對(duì)應(yīng)的每個(gè)候選動(dòng)作類型的概率；

將概率最大的候選動(dòng)作類型確定為所述目標(biāo)視頻段對(duì)應(yīng)的動(dòng)作類型。

5.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述動(dòng)作識(shí)別方法，其特征在于，所述獲取目標(biāo)視頻段，包括：

獲取原始視頻，并將所述原始視頻劃分為多個(gè)時(shí)間長(zhǎng)度為預(yù)設(shè)值的目標(biāo)視頻段；

相應(yīng)的，將所述人體姿勢(shì)特征和所述手部姿勢(shì)特征輸入分類器中以便完成動(dòng)作識(shí)別，包括：

將所述人體姿勢(shì)特征和所述手部姿勢(shì)特征輸入分類器中以便得到每個(gè)所述目標(biāo)視頻段對(duì)應(yīng)的每個(gè)候選動(dòng)作類型的概率；

基于每個(gè)所述目標(biāo)視頻段對(duì)應(yīng)的每個(gè)所述候選動(dòng)作類型對(duì)應(yīng)的概率計(jì)算每個(gè)所述候選動(dòng)作類型的概率平均值；

將概率平均值最大的候選動(dòng)作類型確定為所述原始視頻對(duì)應(yīng)的動(dòng)作類型。

6.一種動(dòng)作識(shí)別裝置，其特征在于，包括：

識(shí)別模塊，用于獲取目標(biāo)視頻段，識(shí)別所述目標(biāo)視頻段中每幀圖像的人體關(guān)節(jié)點(diǎn)位置和手部關(guān)節(jié)點(diǎn)位置；

構(gòu)建模塊，用于根據(jù)每幀所述圖像的人體關(guān)節(jié)點(diǎn)位置和手部關(guān)節(jié)點(diǎn)位置構(gòu)建所述目標(biāo)視頻段對(duì)應(yīng)的無(wú)向空間時(shí)間圖；

提取模塊，用于基于所述無(wú)向空間時(shí)間圖提取所述目標(biāo)視頻段中的人體姿勢(shì)特征和手部姿勢(shì)特征；

輸入模塊，用于將所述人體姿勢(shì)特征和所述手部姿勢(shì)特征輸入分類器中以便完成動(dòng)作識(shí)別。

7.根據(jù)權(quán)利要求6所述動(dòng)作識(shí)別裝置，其特征在于，所述輸入模塊包括：

輸入單元，用于將所述人體姿勢(shì)特征和所述手部姿勢(shì)特征輸入分類器中以便得到所述目標(biāo)視頻段對(duì)應(yīng)的每個(gè)候選動(dòng)作類型的概率；

第一確定單元，用于將概率最大的候選動(dòng)作類型確定為所述目標(biāo)視頻段對(duì)應(yīng)的動(dòng)作類型。

8.根據(jù)權(quán)利要求6所述動(dòng)作識(shí)別裝置，其特征在于，所述識(shí)別模塊包括：

獲取單元，用于獲取原始視頻，并將所述原始視頻劃分為多個(gè)時(shí)間長(zhǎng)度為預(yù)設(shè)值的目標(biāo)視頻段；

識(shí)別單元，用于識(shí)別所述目標(biāo)視頻段中每幀圖像的人體關(guān)節(jié)點(diǎn)位置和手部關(guān)節(jié)點(diǎn)位置；

相應(yīng)的，所述輸入模塊包括：

輸入單元，用于將所述人體姿勢(shì)特征和所述手部姿勢(shì)特征輸入分類器中以便得到每個(gè)所述目標(biāo)視頻段對(duì)應(yīng)的每個(gè)候選動(dòng)作類型的概率；

計(jì)算單元，用于基于每個(gè)所述目標(biāo)視頻段對(duì)應(yīng)的每個(gè)所述候選動(dòng)作類型對(duì)應(yīng)的概率計(jì)算每個(gè)所述候選動(dòng)作類型的概率平均值；

第二確定單元，用于將概率平均值最大的候選動(dòng)作類型確定為所述原始視頻對(duì)應(yīng)的動(dòng)作類型。