[發(fā)明專利]一種基于知識(shí)蒸餾的多人人體姿態(tài)估計(jì)方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210714617.4
• 申請(qǐng)日: 2022-06-22
• 公開(kāi)（公告）號(hào): CN115187660A
• 公開(kāi)（公告）日: 2022-10-14
• 發(fā)明（設(shè)計(jì)）人: 歐衛(wèi)華;蔣永紅;高國(guó)強(qiáng);猶津
• 申請(qǐng)（專利權(quán)）人: 貴州思索電子有限公司
• 主分類號(hào): G06T7/73
• 分類號(hào): G06T7/73;G06N3/04;G06N3/08
• 代理公司: 成都弘毅天承知識(shí)產(chǎn)權(quán)代理有限公司 51230
• 代理人: 謝建

本發(fā)明公開(kāi)了一種基于知識(shí)蒸餾的多人人體姿態(tài)估計(jì)方法及系統(tǒng)，屬于計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域中的人體姿態(tài)的估計(jì)方法，其目的在于解決現(xiàn)有知識(shí)蒸餾技術(shù)中利用堆疊Hourglass網(wǎng)絡(luò)構(gòu)造的學(xué)生網(wǎng)絡(luò)很難做得很小、避免因網(wǎng)絡(luò)模型復(fù)雜度降低導(dǎo)致模型性能下降的問(wèn)題，其學(xué)生網(wǎng)絡(luò)模型包括編碼器、解碼器和關(guān)節(jié)點(diǎn)回歸器，編碼器為GhostNet卷積層，解碼器為堆疊輕量級(jí)上采樣模塊，關(guān)節(jié)點(diǎn)回歸器為卷積核為1×1的卷積；數(shù)據(jù)輸入教師網(wǎng)絡(luò)、學(xué)生網(wǎng)絡(luò)后得到對(duì)應(yīng)的熱圖，利用學(xué)生熱圖與數(shù)據(jù)標(biāo)簽的目標(biāo)關(guān)節(jié)點(diǎn)熱圖生成關(guān)節(jié)點(diǎn)偏置，來(lái)動(dòng)態(tài)調(diào)整教師網(wǎng)絡(luò)向?qū)W生網(wǎng)絡(luò)的知識(shí)轉(zhuǎn)移；將獲取的實(shí)時(shí)人體姿態(tài)數(shù)據(jù)輸入學(xué)生網(wǎng)絡(luò)，輸出實(shí)時(shí)的關(guān)節(jié)點(diǎn)熱圖，并將關(guān)節(jié)點(diǎn)熱圖轉(zhuǎn)化為真實(shí)的關(guān)節(jié)點(diǎn)坐標(biāo)。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，涉及一種人體姿態(tài)的估計(jì)方法，更具體 的是涉及一種基于知識(shí)蒸餾方法的人體姿態(tài)估計(jì)方法。

背景技術(shù)

人體姿態(tài)估計(jì)(Human pose estimation,HPE)旨在從圖像輸入中獲取人體姿 態(tài)關(guān)節(jié)點(diǎn)坐標(biāo)，是計(jì)算機(jī)視覺(jué)領(lǐng)域的熱點(diǎn)問(wèn)題之一。近幾年，人體姿態(tài)估計(jì)技 術(shù)發(fā)展迅速，并被廣泛應(yīng)用于人體跟蹤、動(dòng)作識(shí)別、動(dòng)作檢測(cè)和人機(jī)交互等領(lǐng) 域。

AlexNet在圖像分類識(shí)別領(lǐng)域的成功推動(dòng)了計(jì)算機(jī)視覺(jué)研究進(jìn)入深度學(xué)習(xí) 時(shí)代。2014年，A.Toshev等人提出基于深度學(xué)習(xí)的人體姿態(tài)估計(jì)模型DeepPose， 該模型利用深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了對(duì)人體姿態(tài)估計(jì)的全局預(yù)測(cè)，標(biāo)志著人體 姿態(tài)估計(jì)進(jìn)入了深度學(xué)習(xí)的時(shí)代。憑借著深度卷積網(wǎng)絡(luò)的強(qiáng)大特征提取能力， 人體姿態(tài)估計(jì)也取得了長(zhǎng)足的發(fā)展。與手工提取特征的方法相比，基于深度學(xué) 習(xí)的人體姿態(tài)估計(jì)算法，魯棒性更高。此后，MPII和MSCOCO數(shù)據(jù)集的發(fā)布， 涌現(xiàn)出大量基于深度學(xué)習(xí)人體姿態(tài)估計(jì)的優(yōu)秀工作。

隨著科技的進(jìn)步，越來(lái)越多智能設(shè)備出現(xiàn)在人們的生活中，比如自動(dòng)駕駛 汽車、智能監(jiān)控?cái)z像頭、智能運(yùn)動(dòng)輔助器和養(yǎng)老機(jī)器人等智能設(shè)備，其都需要 具備動(dòng)作識(shí)別、動(dòng)作檢測(cè)與人機(jī)交互等功能，這些功能實(shí)現(xiàn)的基礎(chǔ)離不開(kāi)人體 姿態(tài)估計(jì)算法。將大型人體姿態(tài)估計(jì)算法部署到這些計(jì)算資源有限的設(shè)備上非 常困難。盡管，目前可以將大型人體姿態(tài)估計(jì)算法部署到云端，利用云計(jì)算等 技術(shù)可以讓智能設(shè)備實(shí)現(xiàn)這些功能，但這容易造成信息泄露，人們隱私的安全 得不到保障。所以，研究學(xué)者們開(kāi)始往更輕量級(jí)、更高效的人體姿態(tài)估計(jì)算法 研究，使算法不需要大型GPU等硬件，也可以在手機(jī)、穿戴設(shè)備、監(jiān)控?cái)z像頭 和嵌入式設(shè)備上實(shí)時(shí)運(yùn)行。