[發(fā)明專利]一種基于誘導(dǎo)式深度學(xué)習(xí)的動(dòng)作識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910364764.1
• 申請(qǐng)日: 2019-04-30
• 公開(kāi)（公告）號(hào): CN110084214B
• 公開(kāi)（公告）日: 2021-09-28
• 發(fā)明（設(shè)計(jì)）人: 韓云;呂小英
• 申請(qǐng)（專利權(quán)）人: 內(nèi)江師范學(xué)院
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00
• 代理公司: 成都弘毅天承知識(shí)產(chǎn)權(quán)代理有限公司 51230
• 代理人: 李春霖

本發(fā)明公開(kāi)了一種基于誘導(dǎo)式深度學(xué)習(xí)的動(dòng)作識(shí)別方法，屬于人工智能領(lǐng)域，首先利用相機(jī)獲取用于動(dòng)作識(shí)別的視頻序列；再對(duì)所述視頻序列進(jìn)行預(yù)處理，得到一種或多種不同特性的信息源序列；接著選擇一種或多種類型的特征，構(gòu)建提取所選類型特征的深度學(xué)習(xí)網(wǎng)絡(luò)；最后將所述信息源序列輸入所述深度學(xué)習(xí)網(wǎng)絡(luò)中提取特征，得到所述視頻序列的動(dòng)作類型；本方法所需數(shù)據(jù)量相對(duì)較少，訓(xùn)練過(guò)程更加快，更容易收斂，且識(shí)別精度高。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能領(lǐng)域，具體涉及一種基于誘導(dǎo)式深度學(xué)習(xí)的動(dòng)作識(shí)別方法。

背景技術(shù)

目前在人工智能領(lǐng)域，對(duì)動(dòng)作進(jìn)行識(shí)別的常用方法可分為兩類：一類是基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法，它的核心是以人工構(gòu)建的特征為主，并結(jié)合訓(xùn)練的分類器來(lái)實(shí)現(xiàn)動(dòng)作識(shí)別；第二類是基于當(dāng)前流行的深度學(xué)習(xí)的方法，其中，深度學(xué)習(xí)以目標(biāo)為導(dǎo)向，以大量的訓(xùn)練數(shù)據(jù)為基礎(chǔ)，不僅能訓(xùn)練分類器，還同時(shí)學(xué)習(xí)特征，具有很好的效果。

但是，目前利用深度學(xué)習(xí)進(jìn)行動(dòng)作識(shí)別還存在以下問(wèn)題：

1)數(shù)據(jù)利用率低，需要大量的數(shù)據(jù)才能完成訓(xùn)練。現(xiàn)在的深度學(xué)習(xí)不僅需要大量的訓(xùn)練數(shù)據(jù)，還要求訓(xùn)練數(shù)據(jù)必須具有較好的覆蓋性和平衡性。也就是，對(duì)于訓(xùn)練數(shù)據(jù)中沒(méi)有出現(xiàn)的情況，深度學(xué)習(xí)往往會(huì)失效。

2)深度學(xué)習(xí)性能的提升過(guò)分依賴網(wǎng)絡(luò)結(jié)構(gòu)的修改和訓(xùn)練數(shù)據(jù)量的增大。當(dāng)前利用深度學(xué)習(xí)進(jìn)行動(dòng)作識(shí)別，為了獲得更好的效果，在遇到問(wèn)題時(shí)，常常通過(guò)修改深度學(xué)習(xí)算法的結(jié)構(gòu)以及增加訓(xùn)練數(shù)據(jù)量來(lái)解決。這將導(dǎo)致兩方面的問(wèn)題：第一、進(jìn)一步加大了對(duì)數(shù)據(jù)量的需求；第二、讓深度學(xué)習(xí)去完成自身并不擅長(zhǎng)的工作，使得訓(xùn)練過(guò)程不易收斂、所需時(shí)間長(zhǎng)、耗費(fèi)的計(jì)算資源多。

發(fā)明內(nèi)容

本發(fā)明的目的在于：提供一種基于誘導(dǎo)式深度學(xué)習(xí)的動(dòng)作識(shí)別方法，解決了目前利用深度學(xué)習(xí)來(lái)進(jìn)行動(dòng)作識(shí)別時(shí)，訓(xùn)練數(shù)據(jù)量大、性能較差的技術(shù)問(wèn)題。

本發(fā)明采用的技術(shù)方案如下：

一種基于誘導(dǎo)式深度學(xué)習(xí)的動(dòng)作識(shí)別方法，包括以下步驟

步驟1：利用相機(jī)獲取用于動(dòng)作識(shí)別的視頻序列；

步驟2：對(duì)所述視頻序列進(jìn)行預(yù)處理，得到一種或多種不同特性的信息源序列；

步驟3：選擇一種或多種類型的特征，構(gòu)建提取所選類型特征的深度學(xué)習(xí)網(wǎng)絡(luò)；

步驟4：將所述信息源序列輸入所述深度學(xué)習(xí)網(wǎng)絡(luò)中提取特征，得到所述視頻序列的動(dòng)作類型。

進(jìn)一步的，所述步驟2中，所述預(yù)處理得到的信息源序列包括降采樣后的RGB視頻流以及位置校正后的人體關(guān)節(jié)點(diǎn)信息流。

進(jìn)一步的，所述位置校正包括對(duì)單個(gè)關(guān)節(jié)點(diǎn)遺失進(jìn)行的校正以及對(duì)肢體部位遺失進(jìn)行的校正。

進(jìn)一步的，所述對(duì)單個(gè)關(guān)節(jié)點(diǎn)遺失進(jìn)行校正的步驟包括：

步驟211：獲取人體關(guān)節(jié)點(diǎn)信息流中T時(shí)刻圖像上遺失的關(guān)節(jié)點(diǎn)A和與所述關(guān)節(jié)點(diǎn)A相連接的關(guān)節(jié)點(diǎn)B；

步驟212：獲取T時(shí)刻圖像前后的N幀圖像，定義所述關(guān)節(jié)點(diǎn)A對(duì)所述關(guān)節(jié)點(diǎn)B的變化范圍為Δ_x，y，則

其中x表示關(guān)節(jié)點(diǎn)的橫坐標(biāo)，y表示關(guān)節(jié)點(diǎn)的縱坐標(biāo)，t表示人體關(guān)節(jié)點(diǎn)信息流的時(shí)間序列，A_x，y(t)表示關(guān)節(jié)點(diǎn)A在時(shí)刻t的位置，B_x，y(t)表示關(guān)節(jié)點(diǎn)B在時(shí)刻t的位置；

步驟213：利用所述變化范圍得到在T時(shí)刻關(guān)節(jié)點(diǎn)A的位置為:A_x，y(T)＝B_x，y(T)+Δ_x，y(2)，B_x，y(T)表示關(guān)節(jié)點(diǎn)B在T時(shí)刻的位置；

進(jìn)一步的，所述對(duì)肢體部位遺失進(jìn)行校正的步驟包括：