[發(fā)明專利]一種利用長(zhǎng)短期信息融合的視頻三維人體姿態(tài)估計(jì)算法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011092625.7
• 申請(qǐng)日: 2020-10-13
• 公開(kāi)（公告）號(hào): CN112215160A
• 公開(kāi)（公告）日: 2021-01-12
• 發(fā)明（設(shè)計(jì)）人: 曾鳴;鄧文晉
• 申請(qǐng)（專利權(quán)）人: 廈門大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00
• 代理公司: 廈門南強(qiáng)之路專利事務(wù)所(普通合伙) 35200
• 代理人: 馬應(yīng)森

1.一種利用長(zhǎng)短期信息融合的視頻三維人體姿態(tài)估計(jì)算法，其特征在于包括以下步驟：

1)對(duì)第一網(wǎng)絡(luò)輸入一段視頻，輸出這段視頻每一幀對(duì)應(yīng)的人體二維骨架姿態(tài)坐標(biāo)，并組成序列；

2)使用關(guān)鍵幀動(dòng)作收集算法，從人體二維骨架姿態(tài)坐標(biāo)序列中抽取一定數(shù)量的關(guān)鍵幀，將其存儲(chǔ)在長(zhǎng)期動(dòng)作池中；

3)使用長(zhǎng)短期動(dòng)作融合算法，將長(zhǎng)期動(dòng)作池中的動(dòng)作插入到一個(gè)滑動(dòng)窗口內(nèi)的人體二維骨架姿態(tài)坐標(biāo)序列中，生成一個(gè)滑動(dòng)窗口內(nèi)重構(gòu)的人體二維骨架姿態(tài)坐標(biāo)序列；

4)對(duì)第二網(wǎng)絡(luò)輸入一個(gè)滑動(dòng)窗口內(nèi)重構(gòu)的人體二維骨架姿態(tài)坐標(biāo)序列，輸出這段序列中心幀對(duì)應(yīng)的人體三維骨架姿態(tài)坐標(biāo)；

5)將第二網(wǎng)絡(luò)輸出的每個(gè)滑動(dòng)窗口中心幀對(duì)應(yīng)的人體三維骨架姿態(tài)坐標(biāo)進(jìn)行拼接，輸出為視頻對(duì)應(yīng)的三維人體姿態(tài)序列。

2.如權(quán)利要求1所述一種利用長(zhǎng)短期信息融合的視頻三維人體姿態(tài)估計(jì)算法，其特征在于在步驟1)中，所述第一網(wǎng)絡(luò)為二維人體姿態(tài)估計(jì)網(wǎng)絡(luò)。

3.如權(quán)利要求2所述一種利用長(zhǎng)短期信息融合的視頻三維人體姿態(tài)估計(jì)算法，其特征在于所述二維人體姿態(tài)估計(jì)網(wǎng)絡(luò)分為特征提取模塊和坐標(biāo)回歸模塊。

4.如權(quán)利要求1所述一種利用長(zhǎng)短期信息融合的視頻三維人體姿態(tài)估計(jì)算法，其特征在于在步驟2)中，所述關(guān)鍵幀動(dòng)作收集算法采用漸進(jìn)插入的貪心算法。

5.如權(quán)利要求1所述一種利用長(zhǎng)短期信息融合的視頻三維人體姿態(tài)估計(jì)算法，其特征在于在步驟2)中，所述關(guān)鍵幀動(dòng)作收集算法的具體步驟為：

(1)構(gòu)建一個(gè)特定容量、特定相似度閾值的長(zhǎng)期動(dòng)作池；

(2)輸入人體二維骨架姿態(tài)序列，將第一幀直接存入長(zhǎng)期動(dòng)作池中；

(3)從第二幀開(kāi)始，從前到后逐幀進(jìn)行判別，若集合未到達(dá)容量上限，進(jìn)一步，若與集合中存儲(chǔ)的幀的動(dòng)作相似度小于閾值，則存入集合；否則不存入；同時(shí)對(duì)每一幀維護(hù)一個(gè)總和值，存儲(chǔ)該幀與其余各幀相似度之和；

(4)若集合已達(dá)容量上限，則需要判斷新一幀替換掉總和值最大幀之后集合所有幀總和值之后是否更小，若更小則進(jìn)行替換，否則不進(jìn)行替換；

(5)循環(huán)步驟(3)和(4)，直至運(yùn)行到輸入序列的最后一幀。

6.如權(quán)利要求1所述一種利用長(zhǎng)短期信息融合的視頻三維人體姿態(tài)估計(jì)算法，其特征在于在步驟3)中，所述長(zhǎng)短期動(dòng)作融合算法采用對(duì)稱交替動(dòng)作融合算法。

7.如權(quán)利要求1所述一種利用長(zhǎng)短期信息融合的視頻三維人體姿態(tài)估計(jì)算法，其特征在于在步驟3)中，所述長(zhǎng)短期動(dòng)作融合算法的具體步驟為：

(1)設(shè)定最大插入上限，輸入長(zhǎng)期動(dòng)作池和局部動(dòng)作序列；

(2)對(duì)長(zhǎng)期動(dòng)作池中的幀按照與局部動(dòng)作序列中心幀的相似度進(jìn)行降序排序，得到排序后的長(zhǎng)期動(dòng)作池；

(3)從排序后的長(zhǎng)期動(dòng)作池取出一幀關(guān)鍵幀，從局部序列中心幀開(kāi)始往左進(jìn)行比較，若關(guān)鍵幀與中心幀的相似度高于當(dāng)前幀與中心幀的相似度，則關(guān)鍵幀插入，左側(cè)其余各幀左移一位，邊緣一幀丟棄；否則，進(jìn)入中心幀右側(cè)進(jìn)行比較，若關(guān)鍵幀與中心幀的相似度高于當(dāng)前幀與中心幀的相似度，則關(guān)鍵幀插入，右側(cè)其余各幀右移一位，邊緣一幀丟棄；否則，不插入，從長(zhǎng)期動(dòng)作池中選擇下一幀；

(4)若在局部序列中心幀左側(cè)插入，則進(jìn)入中心幀右側(cè)尋找下一幀插入位置，若有插入位置則插入，若無(wú)插入位置，則不插入；若在局部序列中心幀右側(cè)插入，則進(jìn)入中心幀左側(cè)尋找下一幀插入位置，若有插入位置則插入，若無(wú)插入位置，則不插入；

(5)循環(huán)步驟(3)和(4)，直至遍歷長(zhǎng)期動(dòng)作池結(jié)束或達(dá)到最大插入上限。

8.如權(quán)利要求1所述一種利用長(zhǎng)短期信息融合的視頻三維人體姿態(tài)估計(jì)算法，其特征在于在步驟4)中，所述第二網(wǎng)絡(luò)為視頻三維人體姿態(tài)估計(jì)網(wǎng)絡(luò)，且為空洞卷積網(wǎng)絡(luò)。