[發(fā)明專利]基于多粒度卷積神經(jīng)網(wǎng)絡(luò)剪枝的教師板書動作識別方法

在審

• 申請?zhí)枺?/td>: 202110130937.0
• 申請日: 2021-01-30
• 公開（公告）號: CN112800977A
• 公開（公告）日: 2021-05-14
• 發(fā)明（設(shè)計(jì)）人: 張文博;包振山;周晚晴;杜嘉磊
• 申請（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 北京思海天達(dá)知識產(chǎn)權(quán)代理有限公司 11203
• 代理人: 劉萍

一種基于多粒度卷積神經(jīng)網(wǎng)絡(luò)剪枝的教師板書動作識別方法屬于深度學(xué)習(xí)領(lǐng)域。本發(fā)明結(jié)合智慧教育中的教室精品課程智能化錄制這一實(shí)際應(yīng)用，將多粒度卷積神經(jīng)網(wǎng)絡(luò)剪枝應(yīng)用到人體動作識別算法中，從而提升人體動作識別算法的處理速度。教書板書動作識別算法分為三步：OpenPose進(jìn)行特征提取，坐標(biāo)歸一化以及BP神經(jīng)網(wǎng)絡(luò)分類。此外，在OpenPose的算法中，我們使用了基于濾波器級和連接級的多粒度卷積神經(jīng)網(wǎng)絡(luò)剪枝框架對OpenPose的骨干網(wǎng)絡(luò)進(jìn)行壓縮，設(shè)計(jì)并實(shí)現(xiàn)了相應(yīng)的訓(xùn)練策略，實(shí)現(xiàn)了兩類剪枝方法的結(jié)合。最終實(shí)驗(yàn)結(jié)果表明網(wǎng)絡(luò)剪枝的準(zhǔn)確率和速度完全滿足實(shí)際應(yīng)用的需求。

技術(shù)領(lǐng)域

本發(fā)明屬于深度學(xué)習(xí)領(lǐng)域，涉及一種基于多粒度卷積神經(jīng)網(wǎng)絡(luò)剪枝的教師板書動作識別方法，屬于深度神經(jīng)網(wǎng)絡(luò)模型壓縮的技術(shù)領(lǐng)域。

背景技術(shù)

近年來，教室精品課程智能化錄制系統(tǒng)可通過高清拍攝像機(jī)采集教師、學(xué)生的畫面，并通過對視頻圖像分析，實(shí)現(xiàn)多種教學(xué)場景切換，自動跟拍教師、學(xué)生主體，并對主體的動作進(jìn)行識別。

教室精品課程智能化錄制系統(tǒng)中需要對輸入視頻中的教師進(jìn)行檢測跟蹤，并對教師的板書動作進(jìn)行識別。一般而言，選用OpenPose算法對圖像中的教師進(jìn)行檢測和板書動作識別，OpenPose算法用于提取輸入圖像中的人體關(guān)鍵點(diǎn)，算法采用自下而上的策略，先提取圖像中的關(guān)鍵點(diǎn)位置，再通過學(xué)習(xí)到的關(guān)鍵點(diǎn)關(guān)系計(jì)算出人體骨架信息，根據(jù)這些關(guān)鍵點(diǎn)信息可以計(jì)算出教師在圖像中的位置，解決了教師的檢測問題，但在實(shí)際的教師板書識別方法中，算法的處理速度往往較慢，有時(shí)不能達(dá)到實(shí)際應(yīng)用的需求。

發(fā)明內(nèi)容

本發(fā)明結(jié)合智慧教育中的教室精品課程智能化錄制這一實(shí)際應(yīng)用，提出一種基于多粒度卷積神經(jīng)網(wǎng)絡(luò)剪枝的的教師板書動作識別方法，其中多粒度剪枝壓縮算法是通過有效地訓(xùn)練策略，結(jié)合濾波器級剪枝和連接級剪枝，達(dá)到網(wǎng)絡(luò)壓縮的目的。

教師板書動作識別方法的流程如圖1所示：首先利用標(biāo)清攝像機(jī)采集高清視頻圖像，原始圖像經(jīng)過提取感興趣區(qū)域后輸入到教師板書動作識別方法中。

教師板動作書識別方法中采用OpenPose關(guān)鍵點(diǎn)提取算法提取圖像中提取人體的關(guān)鍵點(diǎn)，然后將關(guān)鍵點(diǎn)坐標(biāo)進(jìn)行位置歸一化處理，最后將歸一化后的坐標(biāo)信息輸入到訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)中進(jìn)行分類，得到輸出結(jié)果。

以下為教書板書動作識別方法的各階段詳解：

(1)OpenPose進(jìn)行特征提取

首先，采用尺寸為w×h的RGB圖像作為輸入，然后OpenPose的主干網(wǎng)絡(luò)對基本特征進(jìn)行前饋計(jì)算，同時(shí)提取一組預(yù)測人體關(guān)鍵點(diǎn)的二維置信度圖S和一組表征人體關(guān)鍵點(diǎn)之間的關(guān)聯(lián)程度的二維矢量場V。集合S＝(S₁，S₂，S₃，…，S_j，…，S_J)，S_j∈R^w*h，R^w*h指的是輸入的尺寸為w×h的全部RGB圖像，包含J個(gè)置信圖，每個(gè)置信圖表示一類人體關(guān)節(jié)的關(guān)鍵點(diǎn)，圖中每個(gè)響應(yīng)峰值表示有一個(gè)關(guān)鍵點(diǎn)存在。集合V＝(V₁，V₂，V₃，…，V_c，…，V_c)，V_C∈R^w*h*2具有C個(gè)二維向量域，每個(gè)肢體對應(yīng)一個(gè)二維向量域，編碼了肢體的每個(gè)部分指向另一個(gè)部分的方向。最后，通過匈牙利算法解析置信度圖和親和度字段，輸出圖像中所有人體的關(guān)鍵點(diǎn)信息。