[發(fā)明專利]一種基于自適應(yīng)圖卷積神經(jīng)網(wǎng)絡(luò)的動作識別方法和裝置

有效

• 申請?zhí)枺?/td>: 202110564099.8
• 申請日: 2021-05-24
• 公開（公告）號: CN113378656B
• 公開（公告）日: 2023-07-25
• 發(fā)明（設(shè)計(jì)）人: 胡凱;丁益武;陸美霞;黃昱錕
• 申請（專利權(quán)）人: 南京信息工程大學(xué)
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/774;G06V10/764;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 田凌濤

本發(fā)明公開了一種基于自適應(yīng)圖卷積神經(jīng)網(wǎng)絡(luò)的動作識別方法和裝置，方法包括：S1，生成人體骨骼數(shù)據(jù)集；S2，將相鄰骨骼邊之間的角度作為深層次的空間特征；S3，計(jì)算得到每個(gè)關(guān)鍵節(jié)點(diǎn)的平均能量變化值，將其作為深層次的時(shí)間特征；S4，構(gòu)建雙流圖卷積神經(jīng)網(wǎng)絡(luò)；S5，對雙流圖卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行擴(kuò)展，并聯(lián)2個(gè)新增子網(wǎng)絡(luò)，搭建動作識別模型，新增子網(wǎng)絡(luò)分別用于對空間特征和時(shí)間特征進(jìn)行處理的子網(wǎng)絡(luò)；該動作識別模型用于同時(shí)對關(guān)節(jié)數(shù)據(jù)、骨骼數(shù)據(jù)、深層次的空間特征和深層次的時(shí)間特征進(jìn)行處理，計(jì)算得到對應(yīng)的動作類型。本發(fā)明能夠有效提高圖卷積網(wǎng)絡(luò)在動作識別領(lǐng)域的識別精度。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻流動作識別技術(shù)領(lǐng)域，具體而言涉及一種基于自適應(yīng)圖卷積神經(jīng)網(wǎng)絡(luò)的動作識別方法和裝置。

背景技術(shù)

在機(jī)器學(xué)習(xí)領(lǐng)域，動作識別是一項(xiàng)非常重要的任務(wù)，在日常生活中有很多場景能夠使用到，比如自動駕駛、人機(jī)交互、公共安全等，因此，這項(xiàng)任務(wù)受到了越來越多的人關(guān)注。從目前來看，由于近幾年機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的爆發(fā)式發(fā)展，涌現(xiàn)出了很多性能優(yōu)良的動作識別算法，基于時(shí)空圖卷積的動作識別算法取得了優(yōu)良的成績。

現(xiàn)有的基于圖神經(jīng)網(wǎng)絡(luò)的動作識別算法僅利用了非常淺層的特征，一是直接利用了姿態(tài)估計(jì)算法得到的人體關(guān)鍵點(diǎn)的坐標(biāo)及其置信度作為特征，忽略了關(guān)鍵點(diǎn)與關(guān)鍵點(diǎn)之間，關(guān)鍵點(diǎn)與骨骼之間的位置關(guān)系。例如，對于肩膀處的關(guān)鍵點(diǎn)來說，它取決于上半身所處的位置，同時(shí)，它又決定著上臂的位置；二是對于動作持續(xù)時(shí)間的長短，沒有明顯的區(qū)分，如摔倒與躺下這兩個(gè)動作，動作是類似的，很明顯在時(shí)間上，摔倒比躺下的時(shí)間更快。這些問題的存在表明了現(xiàn)有方法仍沒有充分提取數(shù)據(jù)的信息。

因此，雖然基于骨架的動作識別算法在公開數(shù)據(jù)集上已經(jīng)取得了卓越的成果，但是目前的算法都僅利用了比較淺層的特征，沒有考慮骨架數(shù)據(jù)節(jié)點(diǎn)與邊之間的關(guān)聯(lián)性，沒有考慮邊與邊之間的關(guān)聯(lián)性，也沒一個(gè)有效的辦法解決類似“摔倒”與“躺下”這類動作的難區(qū)分的問題。

發(fā)明內(nèi)容

本發(fā)明針對現(xiàn)有技術(shù)中的不足，提供一種基于自適應(yīng)圖卷積神經(jīng)網(wǎng)絡(luò)的動作識別方法和裝置，通過聚焦動作根節(jié)點(diǎn)，計(jì)算出一個(gè)動作持續(xù)時(shí)間內(nèi)，圍繞同一關(guān)鍵點(diǎn)的兩個(gè)骨骼之間的角度變化，同時(shí)將動作的持續(xù)時(shí)間作為特征輸入給網(wǎng)絡(luò)，以解決信息利用不充分的問題，有效提高圖卷積網(wǎng)絡(luò)在動作識別領(lǐng)域的識別精度。

為實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

第一方面，本發(fā)明實(shí)施例提出了一種基于自適應(yīng)圖卷積神經(jīng)網(wǎng)絡(luò)的動作識別方法，所述動作識別方法包括：

S1，獲取待識別人體動作類型的視頻流數(shù)據(jù)，采用已有的姿態(tài)估計(jì)算法，對導(dǎo)入的視頻流數(shù)據(jù)進(jìn)行處理，得到人體骨架類型數(shù)據(jù)和人體骨骼圖形，生成同時(shí)得到每個(gè)關(guān)鍵節(jié)點(diǎn)的坐標(biāo)及其置信度特征，生成人體骨骼數(shù)據(jù)集；

S2，計(jì)算人體運(yùn)動過程中骨骼圍繞關(guān)鍵節(jié)點(diǎn)轉(zhuǎn)動時(shí)角動量發(fā)生的變化，將相鄰骨骼邊之間的角度這一變量作為深層次的空間特征；

S3，提取人體動作持續(xù)時(shí)間內(nèi)的能量信息，將骨骼圍繞關(guān)鍵節(jié)點(diǎn)轉(zhuǎn)動產(chǎn)生的角度差累加得到在動作持續(xù)時(shí)間內(nèi)角度變化的總和，采用每個(gè)關(guān)鍵節(jié)點(diǎn)對應(yīng)的角度差累加之和除以當(dāng)前動作的關(guān)鍵幀數(shù)，計(jì)算得到每個(gè)關(guān)鍵節(jié)點(diǎn)的平均能量變化值，將其作為深層次的時(shí)間特征；

S4，構(gòu)建雙流圖卷積神經(jīng)網(wǎng)絡(luò)，其中，關(guān)節(jié)數(shù)據(jù)和骨骼數(shù)據(jù)分別作為J流和B流的輸入數(shù)據(jù)，預(yù)測動作標(biāo)簽作為輸出數(shù)據(jù)；

S5，對雙流圖卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行擴(kuò)展，并聯(lián)2個(gè)新增子網(wǎng)絡(luò)，搭建動作識別模型，新增子網(wǎng)絡(luò)分別用于對空間特征和時(shí)間特征進(jìn)行處理的子網(wǎng)絡(luò)；該動作識別模型用于同時(shí)對關(guān)節(jié)數(shù)據(jù)、骨骼數(shù)據(jù)、深層次的空間特征和深層次的時(shí)間特征進(jìn)行處理，計(jì)算得到對應(yīng)的動作類型。

可選的，步驟S2中，所述計(jì)算人體運(yùn)動過程中骨骼圍繞關(guān)鍵節(jié)點(diǎn)轉(zhuǎn)動時(shí)角動量發(fā)生的變化，將相鄰骨骼邊之間的角度這一變量作為深層次的空間特征的過程包括以下步驟：