[發(fā)明專利]一種基于Head輕量化Mask Scoring R-CNN的手勢(shì)識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010218568.6
• 申請(qǐng)日: 2020-03-25
• 公開(kāi)（公告）號(hào): CN111401293B
• 公開(kāi)（公告）日: 2022-06-24
• 發(fā)明（設(shè)計(jì)）人: 徐好好;單志勇;徐超
• 申請(qǐng)（專利權(quán)）人: 東華大學(xué)
• 主分類號(hào): G06V40/10
• 分類號(hào): G06V40/10;G06V10/26;G06V10/774;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 徐俊

1.一種基于Head輕量化Mask Scoring R-CNN的手勢(shì)識(shí)別方法，其特征在于，包括以下步驟：

步驟1、建立改進(jìn)的Mask Scoring R-CNN實(shí)例分割模型，該改進(jìn)的Mask Scoring R-CNN實(shí)例分割模型包括主干網(wǎng)絡(luò)、RPN網(wǎng)絡(luò)、PSRoIAlign及Head結(jié)構(gòu)，其中：

使用DetNet59-FPN作為主干網(wǎng)絡(luò)，用于提取輸入的手勢(shì)圖像的多尺度特征圖，這些多尺度特征圖通過(guò)1x1卷積生成392通道的輕量化位置敏感得分圖；

RPN網(wǎng)絡(luò)基于多尺度特征圖生成錨框并生成提議區(qū)域，RPN網(wǎng)絡(luò)將輸出的提議區(qū)域?qū)?yīng)到輕量化位置敏感得分圖上截取RoI；

PSRoI Align將RoI池化成統(tǒng)一大小后輸入Head結(jié)構(gòu)；

Head結(jié)構(gòu)包括R-CNN Head、Mask Head、MaskIoU Head，R-CNN Head和MaskIoU Head采用單個(gè)1024維全連接層，R-CNN Head用于對(duì)池化后的RoI進(jìn)行分類并預(yù)測(cè)邊界框；MaskHead用于結(jié)合R-CNN Head輸出的分類結(jié)果輸出RoI的預(yù)測(cè)掩碼；MaskIoU Head對(duì)預(yù)測(cè)掩碼與真實(shí)掩碼的交并比進(jìn)行回歸輸出MaskIoU，最后將分類置信度與MaskIoU的乘積作為實(shí)例分割的得分；

步驟2、定義目標(biāo)任務(wù)，采集目標(biāo)樣本圖及制作數(shù)據(jù)集，包括以下步驟：步驟2-1、定義目標(biāo)任務(wù)為手勢(shì)數(shù)據(jù)，采集五類手勢(shì)圖像；

步驟2-2、制作數(shù)據(jù)集，準(zhǔn)備適量目標(biāo)任務(wù)的樣本圖像，為保證特征充分性，樣本圖像數(shù)量級(jí)設(shè)置為10³到10⁴，該范圍內(nèi)的任何數(shù)值M都可作為樣本數(shù)量，五類手勢(shì)圖像的個(gè)數(shù)比例一致；

步驟2-3、將步驟2-2得到的樣本圖像進(jìn)行標(biāo)注，標(biāo)注的內(nèi)容包括圖像內(nèi)手勢(shì)的類別、邊界框、掩碼；

步驟2-4、將步驟2-2得到的數(shù)據(jù)集按照一定的比例進(jìn)行劃分，得到訓(xùn)練集、測(cè)試集和驗(yàn)證集；

步驟3、模型訓(xùn)練：

步驟3-1、對(duì)步驟1中改進(jìn)的Mask Scoring R-CNN實(shí)例分割模型進(jìn)行初始化參數(shù)設(shè)置，利用DetNet59在ImageNet上預(yù)訓(xùn)練的參數(shù)作遷移學(xué)習(xí)，設(shè)置SGD優(yōu)化器學(xué)習(xí)率為0.001，訓(xùn)練的batchsize為16，迭代次數(shù)為40000，利用步驟2得到的訓(xùn)練集對(duì)改進(jìn)的Mask ScoringR-CNN實(shí)例分割模型進(jìn)行訓(xùn)練，隨后使用驗(yàn)證集進(jìn)行驗(yàn)證；

步驟4、模型測(cè)試，包括以下步驟：

步驟4-1、選定步驟2-4得到的測(cè)試集中的樣本圖像輸入訓(xùn)練好的改進(jìn)的Mask ScoringR-CNN實(shí)例分割模型；

步驟4-2、對(duì)輸出邊界框進(jìn)行非極大值抑制，去除重復(fù)的邊界框得到最終測(cè)試結(jié)果。

2.如權(quán)利要求1所述的一種基于Head輕量化Mask Scoring R-CNN的手勢(shì)識(shí)別方法，其特征在于：步驟1中，1x1卷積的卷積核個(gè)數(shù)為392，得到通道數(shù)為392的輕量化位置敏感得分圖。

3.如權(quán)利要求1所述的一種基于Head輕量化Mask Scoring R-CNN的手勢(shì)識(shí)別方法，其特征在于：步驟1中，PSRoI Align所使用的池化窗口大小分別為7x7和14x14，分別生成形狀為7x7x8以及14x14x2的RoI作為Head結(jié)構(gòu)的輸入，其中，7x7x8的RoI作為R-CNN Head的輸入，14x14x2的RoI作為Mask Head的輸入。

4.如權(quán)利要求1所述的一種基于Head輕量化Mask Scoring R-CNN的手勢(shì)識(shí)別方法，其特征在于：步驟2-2中樣本數(shù)值M為1000張，五類手勢(shì)數(shù)據(jù)各200張。

5.如權(quán)利要求4所述的一種基于Head輕量化Mask Scoring R-CNN的手勢(shì)識(shí)別方法，其特征在于：步驟2-4中按照訓(xùn)練集：驗(yàn)證集：測(cè)試集＝8：1：1的比例劃分樣本數(shù)M，得到訓(xùn)練集800張、驗(yàn)證集100張、測(cè)試集100張三部分。