[發(fā)明專利]一種低成本實(shí)時(shí)骨骼關(guān)鍵點(diǎn)識(shí)別方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110246577.0
• 申請(qǐng)日: 2021-03-05
• 公開（公告）號(hào): CN112949506A
• 公開（公告）日: 2021-06-11
• 發(fā)明（設(shè)計(jì)）人: 程煜鈞;張哲為;丁博文;顧友良
• 申請(qǐng)（專利權(quán)）人: 廣州紫為云科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 廣州名揚(yáng)高玥專利代理事務(wù)所(普通合伙) 44738
• 代理人: 郭琳

本發(fā)明公開了一種低成本實(shí)時(shí)骨骼關(guān)鍵點(diǎn)識(shí)別裝置，所述識(shí)別裝置包括圖像采集模塊、核心計(jì)算單元、輕量級(jí)神經(jīng)網(wǎng)絡(luò)算法模塊、神經(jīng)網(wǎng)絡(luò)加速引擎和骨骼關(guān)鍵點(diǎn)輸出模塊，其中，所述圖像采集模塊對(duì)圖像進(jìn)行采集，將獲取的圖像信息發(fā)送至核心計(jì)算單元；所述核心計(jì)算單元對(duì)獲取的圖像進(jìn)行圖像處理，輕量級(jí)神經(jīng)網(wǎng)絡(luò)算法模塊采用改進(jìn)型的SqueezeNet作為基礎(chǔ)骨干網(wǎng)絡(luò)，結(jié)合特征金字塔網(wǎng)絡(luò)對(duì)圖像進(jìn)行多尺度特征提取，通過所述神經(jīng)網(wǎng)絡(luò)加速模塊對(duì)網(wǎng)絡(luò)進(jìn)行加速，最后通過骨骼關(guān)鍵點(diǎn)輸出模塊進(jìn)行骨骼關(guān)鍵點(diǎn)輸出，圖像采集模塊采用任意單目攝像頭，核心計(jì)算單元采用移動(dòng)端CPU。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，尤其涉及一種低成本實(shí)時(shí)骨骼關(guān)鍵點(diǎn)識(shí)別方法和裝置。

背景技術(shù)

骨骼關(guān)鍵點(diǎn)識(shí)別技術(shù)是計(jì)算機(jī)視覺的基礎(chǔ)技術(shù)之一。該技術(shù)通過傳感器(攝像頭，紅外線等設(shè)備)，在圖像/視頻數(shù)據(jù)中檢測(cè)人體的關(guān)節(jié)、五官，通過關(guān)鍵點(diǎn)描述人體骨骼信息。

然而，現(xiàn)有基于深度學(xué)習(xí)的骨骼關(guān)鍵點(diǎn)識(shí)別算法大多在低成本硬件平臺(tái)上難以實(shí)時(shí)運(yùn)行，需要搭配高成本的硬件(如GPU或高端攝像頭)才能達(dá)到實(shí)時(shí)。當(dāng)前發(fā)明基于一系列軟硬件優(yōu)化技術(shù)，可以實(shí)現(xiàn)在低成本硬件平臺(tái)上，完成骨骼關(guān)鍵點(diǎn)的實(shí)時(shí)識(shí)別。在保證精確性的前提下，相比于主流方法引入的約50毫秒的識(shí)別時(shí)延，當(dāng)前發(fā)明技術(shù)可以達(dá)到最低3毫秒的識(shí)別時(shí)延。

傳統(tǒng)的骨骼關(guān)鍵點(diǎn)算法在幾何先驗(yàn)的基礎(chǔ)上基于模版匹配的思路來進(jìn)行，精確性較差。而現(xiàn)有的基于深度學(xué)習(xí)的骨骼關(guān)鍵點(diǎn)識(shí)別算法由于硬件性能的限制，在低成本硬件平臺(tái)上(如移動(dòng)端手機(jī)、平板)的識(shí)別速度較慢，算法聯(lián)動(dòng)應(yīng)用會(huì)造成應(yīng)用卡頓、丟幀等情況，非常影響用戶體驗(yàn)。

發(fā)明內(nèi)容

基于上述不足，本發(fā)明主要面向于移動(dòng)端/嵌入式設(shè)備的骨骼關(guān)鍵點(diǎn)識(shí)別，采用輕量級(jí)的深度學(xué)習(xí)算法并應(yīng)用神經(jīng)網(wǎng)絡(luò)加速技術(shù)進(jìn)行優(yōu)化，硬件僅需采用CPU和單目攝像頭，即可完成對(duì)骨骼關(guān)鍵點(diǎn)的低成本實(shí)時(shí)識(shí)別，無需GPU或高端攝像頭(kinect)。

本發(fā)明旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題之一。為此，本發(fā)明公開了一種低成本實(shí)時(shí)骨骼關(guān)鍵點(diǎn)識(shí)別裝置，所述識(shí)別裝置包括圖像采集模塊、核心計(jì)算單元、輕量級(jí)神經(jīng)網(wǎng)絡(luò)算法模塊、神經(jīng)網(wǎng)絡(luò)加速引擎和骨骼關(guān)鍵點(diǎn)輸出模塊，其中，所述圖像采集模塊對(duì)圖像進(jìn)行采集，將獲取的圖像信息發(fā)送至核心計(jì)算單元；所述核心計(jì)算單元對(duì)獲取的圖像進(jìn)行圖像處理，輕量級(jí)神經(jīng)網(wǎng)絡(luò)算法模塊采用改進(jìn)型的SqueezeNet作為基礎(chǔ)骨干網(wǎng)絡(luò)，結(jié)合特征金字塔網(wǎng)絡(luò)對(duì)圖像進(jìn)行多尺度特征提取，通過所述神經(jīng)網(wǎng)絡(luò)加速模塊對(duì)網(wǎng)絡(luò)進(jìn)行加速，最后通過骨骼關(guān)鍵點(diǎn)輸出模塊進(jìn)行骨骼關(guān)鍵點(diǎn)輸出，圖像采集模塊采用任意單目攝像頭，核心計(jì)算單元采用移動(dòng)端CPU。

更進(jìn)一步地，所述神經(jīng)網(wǎng)絡(luò)加速模塊進(jìn)一步包括：輸入圖像首先進(jìn)入改進(jìn)的SqueezeNet骨干網(wǎng)絡(luò)進(jìn)行計(jì)算，所述SqueezeNet骨干網(wǎng)絡(luò)由兩個(gè)卷積層，八個(gè)Fire層和三個(gè)池化層組成，其中卷積層conv1層經(jīng)過96組7x7的卷積核，卷積層conv10經(jīng)過1000組1x1的卷積核；池化層maxpool1、maxpool2、maxpool3大小均為3x3；fire層結(jié)構(gòu)統(tǒng)一，其中Squeeze部分由連續(xù)的1x1卷積組成，Expand部分由連續(xù)的1x1卷積和3x3卷積連接組成。

更進(jìn)一步地，若Squeeze部分的通道數(shù)記為S1x1，而Expand部分的1x1的卷積數(shù)和3x3的卷積數(shù)分別記為e1x1和e3x3，則以上三者的關(guān)系滿足下面公式：S1×1e1×1+e3×3。

更進(jìn)一步地，所述神經(jīng)網(wǎng)絡(luò)加速模塊還在fire3、fire5、fire7和fire9層之間都增加了網(wǎng)絡(luò)捷徑(short-cut)以提高訓(xùn)練期間魯棒性，防止過擬合，所述改進(jìn)的SqueezeNet骨干網(wǎng)絡(luò)輸出一系列卷積特征圖至特征金字塔網(wǎng)絡(luò)進(jìn)行下一步計(jì)算。

更進(jìn)一步地，抽取骨干網(wǎng)絡(luò)SqueezeNet中的fire2、fire6、fire5和conv10四個(gè)尺度以構(gòu)建特征金字塔網(wǎng)絡(luò)，經(jīng)過特征金字塔網(wǎng)絡(luò)處理后，在每一個(gè)尺度上分別輸出預(yù)測(cè)的結(jié)果。