[發(fā)明專(zhuān)利]一種結(jié)合注意力機(jī)制和部分親和域場(chǎng)的人體姿態(tài)估計(jì)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010614346.6
• 申請(qǐng)日: 2020-06-30
• 公開(kāi)（公告）號(hào): CN111860216A
• 公開(kāi)（公告）日: 2020-10-30
• 發(fā)明（設(shè)計(jì)）人: 盧健;楊騰飛;周嫣然;羅毛欣;李哲
• 申請(qǐng)（專(zhuān)利權(quán)）人: 西安工程大學(xué)
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安弘理專(zhuān)利事務(wù)所 61214
• 代理人: 韓玙

本發(fā)明公開(kāi)了一種結(jié)合注意力機(jī)制和部分親和域場(chǎng)的人體姿態(tài)估計(jì)方法，首先獲取人體姿態(tài)估計(jì)的公用數(shù)據(jù)集；將公用數(shù)據(jù)集中的待測(cè)圖像輸入到沙漏堆棧網(wǎng)絡(luò)，通過(guò)多語(yǔ)境注意力模型得到人體全局注意力圖；將人體全局注意力圖輸入到多階段雙分支網(wǎng)絡(luò)；采用損失函數(shù)引導(dǎo)多階段雙分支網(wǎng)絡(luò)對(duì)人體全局注意力圖進(jìn)行預(yù)測(cè)并迭代，直至多階段雙分支網(wǎng)絡(luò)收斂，獲得人體局部注意力圖和部分親和域場(chǎng)；最后，對(duì)人體局部注意力圖和部分親和域場(chǎng)進(jìn)行聚類(lèi)，得到待測(cè)圖像中人體姿態(tài)估計(jì)結(jié)果。本發(fā)明一種結(jié)合注意力機(jī)制和部分親和域場(chǎng)的人體姿態(tài)估計(jì)方法，解決了現(xiàn)有技術(shù)中存在的人體姿態(tài)估計(jì)方法對(duì)復(fù)雜連續(xù)姿態(tài)的魯棒性較差的問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明屬于人工智能技術(shù)領(lǐng)域，具體涉及一種結(jié)合注意力機(jī)制和部分親和域場(chǎng)的人體姿態(tài)估計(jì)方法。

背景技術(shù)

據(jù)統(tǒng)計(jì)國(guó)內(nèi)的攝像頭個(gè)數(shù)在2017年已經(jīng)達(dá)到1.76億個(gè)，預(yù)計(jì)2020年全國(guó)攝像頭個(gè)數(shù)將達(dá)6.26億個(gè)，但是單純通過(guò)人工來(lái)對(duì)這些攝像頭所拍攝的內(nèi)容進(jìn)行分析是不可靠且不現(xiàn)實(shí)的。隨著圖像識(shí)別領(lǐng)域的深度學(xué)習(xí)算法的發(fā)展，使得通過(guò)攝像頭來(lái)進(jìn)行人體跟蹤、行人重識(shí)別和行為識(shí)別等技術(shù)成為可能。其中人體姿態(tài)估計(jì)正是這些技術(shù)的基礎(chǔ)環(huán)節(jié)。人體姿態(tài)估計(jì)(Human Pose Estimation)，是以人體骨骼關(guān)節(jié)點(diǎn)為研究對(duì)象，通過(guò)檢測(cè)關(guān)節(jié)點(diǎn)的位置信息估計(jì)關(guān)節(jié)點(diǎn)之間的聯(lián)系進(jìn)而重構(gòu)人體肢干。人體姿態(tài)估計(jì)是完成人體行為識(shí)別、姿態(tài)跟蹤和進(jìn)行人機(jī)交互等高級(jí)任務(wù)的基礎(chǔ)環(huán)節(jié)，其相關(guān)研究受到廣泛關(guān)注。

傳統(tǒng)的人體姿態(tài)估計(jì)方法依賴(lài)于人工標(biāo)注特征，將姿態(tài)估計(jì)問(wèn)題看作回歸問(wèn)題，直接回歸出關(guān)節(jié)點(diǎn)的坐標(biāo)，估計(jì)精度不高。其主要缺點(diǎn)主要有：(1)局限于站立、靜坐等單幀簡(jiǎn)單姿態(tài)，對(duì)摔倒、彎腰等復(fù)雜連續(xù)姿態(tài)的魯棒性較差；(2)所使用的回歸模型可擴(kuò)展性較差，很難適應(yīng)人體圖像的多尺度變化。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種結(jié)合注意力機(jī)制和部分親和域場(chǎng)的人體姿態(tài)估計(jì)方法，解決了現(xiàn)有技術(shù)中存在的人體姿態(tài)估計(jì)方法對(duì)復(fù)雜連續(xù)姿態(tài)的魯棒性較差的問(wèn)題。

本發(fā)明所采用的技術(shù)方案是，一種結(jié)合注意力機(jī)制和部分親和域場(chǎng)的人體姿態(tài)估計(jì)方法，具體按照以下步驟實(shí)施：

步驟1，獲取人體姿態(tài)估計(jì)的公用數(shù)據(jù)集；

步驟2，將公用數(shù)據(jù)集中的待測(cè)圖像輸入到沙漏堆棧網(wǎng)絡(luò)，通過(guò)多語(yǔ)境注意力模型得到人體全局注意力圖；

步驟3，將人體全局注意力圖輸入到多階段雙分支網(wǎng)絡(luò)；

步驟4，采用損失函數(shù)引導(dǎo)多階段雙分支網(wǎng)絡(luò)對(duì)人體全局注意力圖進(jìn)行預(yù)測(cè)并迭代，直至多階段雙分支網(wǎng)絡(luò)收斂，獲得人體局部注意力圖和部分親和域場(chǎng)；

步驟5，對(duì)人體局部注意力圖和部分親和域場(chǎng)進(jìn)行聚類(lèi)，得到待測(cè)圖像中人體姿態(tài)估計(jì)結(jié)果。

本發(fā)明的特點(diǎn)還在于：

步驟1中，公用數(shù)據(jù)集為MSCOCO數(shù)據(jù)集、MPII數(shù)據(jù)集或LSP數(shù)據(jù)集。

步驟4中，多階段雙分支網(wǎng)絡(luò)包括第一網(wǎng)絡(luò)分支和第二網(wǎng)絡(luò)分支，多階段包括第一階段和第二階段；

第一階段是通過(guò)沙漏堆棧網(wǎng)絡(luò)將待測(cè)圖像中人體區(qū)域與背景分離開(kāi)來(lái)，單獨(dú)提取出待測(cè)圖像中的人體區(qū)域；第二階段是分別通過(guò)第一網(wǎng)絡(luò)分支和第二網(wǎng)絡(luò)分支對(duì)人體區(qū)域進(jìn)行預(yù)測(cè)；

第一網(wǎng)絡(luò)分支預(yù)測(cè)人體區(qū)域中的人體關(guān)節(jié)點(diǎn)，獲得人體局部注意力圖；第二網(wǎng)絡(luò)分支預(yù)測(cè)人體區(qū)域中的人體軀干，獲得部分親和域場(chǎng)。

步驟4中，損失函數(shù)具體表述為：

式(1)中，為局部置信度的誤差情況；為部分親和域場(chǎng)的誤差情況。

損失函數(shù)中，