[發(fā)明專利]用于虛擬人物的檢測(cè)方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201810974781.2
• 申請(qǐng)日: 2018-08-24
• 公開（公告）號(hào): CN109325521B
• 公開（公告）日: 2021-09-07
• 發(fā)明（設(shè)計(jì)）人: 趙昊;張默
• 申請(qǐng)（專利權(quán)）人: 北京陌上花科技有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62
• 代理公司: 北京知果之信知識(shí)產(chǎn)權(quán)代理有限公司 11541
• 代理人: 唐海力;李志剛

1.一種用于虛擬人物的檢測(cè)方法，其特征在于，包括：

輸入待檢測(cè)圖像；

對(duì)所述待檢測(cè)圖像中的虛擬人物執(zhí)行第一預(yù)設(shè)檢測(cè)任務(wù)得到虛擬人物圖像位置，包括：通過訓(xùn)練完成的深度學(xué)習(xí)網(wǎng)絡(luò)模型檢測(cè)所述待檢測(cè)圖像中的虛擬人物的具體位置；其中，所述位置包括緊貼虛擬人物左上角、右上角、中心點(diǎn)、虛擬人物的長度和寬度；所述深度學(xué)習(xí)網(wǎng)絡(luò)模型為去分類的SSD檢測(cè)網(wǎng)絡(luò)；所述深度學(xué)習(xí)網(wǎng)絡(luò)模型的訓(xùn)練過程包括：使用虛擬動(dòng)畫片或虛擬動(dòng)畫電影中虛擬人物視頻截圖和標(biāo)注數(shù)據(jù)包括圖片中虛擬人物的位置信息和類別信息，首先可以先訓(xùn)練一個(gè)只用于檢測(cè)圖片中虛擬人物具體位置的深度學(xué)習(xí)網(wǎng)絡(luò)模型，該深度學(xué)習(xí)網(wǎng)絡(luò)模型中暫不考慮虛擬人物類別，模型結(jié)構(gòu)為去分類的檢測(cè)算法；在所述深度學(xué)習(xí)網(wǎng)絡(luò)模型中，先通過backbone主干提取圖片特征，再通過提取backbone中多個(gè)不同尺度的特征圖，并對(duì)每一個(gè)特征圖各自接兩層卷積層，用于做線性回歸進(jìn)而檢測(cè)圖片中的虛擬人物的具體位置；而后基于訓(xùn)練好的去分類SSD用于提取視頻圖片中虛擬人物的位置信息，并利用提取出的位置信息將所有視頻圖片中只有虛擬人物的部分分割出來以摳出虛擬人物；

對(duì)所述摳出的虛擬人物圖像位置對(duì)應(yīng)的虛擬人物執(zhí)行第二預(yù)設(shè)檢測(cè)任務(wù)得到虛擬人物圖像分類；以及

融合所述虛擬人物圖像分類結(jié)果，得到虛擬人物圖像；

對(duì)所述待檢測(cè)圖像中的虛擬人物執(zhí)行第一預(yù)設(shè)檢測(cè)任務(wù)得到虛擬人物圖像位置包括：采集預(yù)設(shè)影像信息中的虛擬人物視頻截圖以及圖像標(biāo)注特征；根據(jù)所述虛擬人物視頻截圖和所述圖像標(biāo)注特征訓(xùn)練用于檢測(cè)虛擬人物位置的深度學(xué)習(xí)網(wǎng)絡(luò)模型；以及通過所述深度學(xué)習(xí)網(wǎng)絡(luò)模型執(zhí)行位置檢測(cè)任務(wù)得到虛擬人物圖像位置。

2.根據(jù)權(quán)利要求1所述的檢測(cè)方法，其特征在于，對(duì)所述虛擬人物圖像執(zhí)行第一預(yù)設(shè)檢測(cè)任務(wù)得到虛擬人物圖像位置之后還包括：

根據(jù)所述虛擬人物圖像位置從所述待檢測(cè)圖像中分割出虛擬人物且保存分割后的虛擬人物圖像。

3.根據(jù)權(quán)利要求1所述的檢測(cè)方法，其特征在于，對(duì)所述虛擬人物圖像位置對(duì)應(yīng)的虛擬人物執(zhí)行第二預(yù)設(shè)檢測(cè)任務(wù)得到虛擬人物圖像分類包括：

提取待檢測(cè)的虛擬人物圖片中SIFT特征；

根據(jù)所述SIFT特征和圖像標(biāo)注特征訓(xùn)練得到分類器；以及

根據(jù)所述分類器區(qū)分所述虛擬人物的類別。

4.根據(jù)權(quán)利要求1所述的檢測(cè)方法，其特征在于，對(duì)所述虛擬人物圖像位置對(duì)應(yīng)的虛擬人物執(zhí)行第二預(yù)設(shè)檢測(cè)任務(wù)得到虛擬人物圖像分類包括：

通過所述虛擬人物圖像訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)分類模型；

根據(jù)深度學(xué)習(xí)網(wǎng)絡(luò)分類模型提取虛擬人物的高級(jí)特征；

檢測(cè)出虛擬人物類別；以及

對(duì)所述虛擬人物圖像的類別采用模型融合，得到加權(quán)平均后的分類結(jié)果。

5.一種用于虛擬人物的檢測(cè)裝置，其特征在于，包括：

輸入模塊，用于輸入待檢測(cè)圖像；

第一執(zhí)行模塊，用于對(duì)所述待檢測(cè)圖像中的虛擬人物執(zhí)行第一預(yù)設(shè)檢測(cè)任務(wù)得到虛擬人物圖像位置，包括：通過訓(xùn)練完成的深度學(xué)習(xí)網(wǎng)絡(luò)模型檢測(cè)所述待檢測(cè)圖像中的虛擬人物的具體位置；其中，所述位置包括緊貼虛擬人物左上角、右上角、中心點(diǎn)、虛擬人物的長度和寬度；所述深度學(xué)習(xí)網(wǎng)絡(luò)模型為去分類的SSD檢測(cè)網(wǎng)絡(luò)；所述深度學(xué)習(xí)網(wǎng)絡(luò)模型的訓(xùn)練過程包括：使用虛擬動(dòng)畫片或虛擬動(dòng)畫電影中虛擬人物視頻截圖和標(biāo)注數(shù)據(jù)包括圖片中虛擬人物的位置信息和類別信息，首先可以先訓(xùn)練一個(gè)只用于檢測(cè)圖片中虛擬人物具體位置的深度學(xué)習(xí)網(wǎng)絡(luò)模型，該深度學(xué)習(xí)網(wǎng)絡(luò)模型中暫不考慮虛擬人物類別，模型結(jié)構(gòu)為去分類的檢測(cè)算法；在所述深度學(xué)習(xí)網(wǎng)絡(luò)模型中，先通過backbone主干提取圖片特征，再通過提取backbone中多個(gè)不同尺度的特征圖，并對(duì)每一個(gè)特征圖各自接兩層卷積層，用于做線性回歸進(jìn)而檢測(cè)圖片中的虛擬人物的具體位置；而后基于訓(xùn)練好的去分類SSD用于提取視頻圖片中虛擬人物的位置信息，并利用提取出的位置信息將所有視頻圖片中只有虛擬人物的部分分割出來以摳出虛擬人物；

第二執(zhí)行模塊，用于對(duì)所述摳出的虛擬人物圖像位置對(duì)應(yīng)的虛擬人物執(zhí)行第二預(yù)設(shè)檢測(cè)任務(wù)得到虛擬人物圖像分類；以及

融合模塊，用于融合所述虛擬人物圖像分類結(jié)果，得到虛擬人物圖像。