[發(fā)明專利]增強(qiáng)現(xiàn)實(shí)方法和裝置

在審

• 申請?zhí)枺?/td>: 201910207272.1
• 申請日: 2019-03-19
• 公開（公告）號(hào): CN111723806A
• 公開（公告）日: 2020-09-29
• 發(fā)明（設(shè)計(jì)）人: 劉享軍;楊超
• 申請（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06K9/34
• 分類號(hào): G06K9/34;G06K9/44;G06K9/46;G06K9/62
• 代理公司: 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

1.一種增強(qiáng)現(xiàn)實(shí)方法，包括：

對實(shí)時(shí)采集的目標(biāo)對象的原始圖像進(jìn)行預(yù)處理；

從經(jīng)過所述預(yù)處理后的目標(biāo)對象的圖像中確定出目標(biāo)區(qū)域；

確定與所述目標(biāo)區(qū)域?qū)?yīng)的虛擬內(nèi)容；

將所述虛擬內(nèi)容應(yīng)用到所述目標(biāo)區(qū)域，生成添加了所述虛擬內(nèi)容的目標(biāo)對象的增強(qiáng)現(xiàn)實(shí)圖像。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述從經(jīng)過所述預(yù)處理后的目標(biāo)對象的原始圖像中確定出目標(biāo)區(qū)域，包括：

將經(jīng)過預(yù)處理后的目標(biāo)對象的圖像輸入到預(yù)先訓(xùn)練的語義分割模型，得到包括所述目標(biāo)區(qū)域的分割結(jié)果，所述語義分割模型用于將所輸入的圖像分割成多個(gè)區(qū)域。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述語義分割模型為輕量級(jí)深度學(xué)習(xí)網(wǎng)絡(luò)。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述確定與所述目標(biāo)區(qū)域?qū)?yīng)的虛擬內(nèi)容，包括：

基于所述目標(biāo)對象的圖像中除所述目標(biāo)區(qū)域之外的其他區(qū)域的圖像特征確定與所述圖像特征匹配的虛擬內(nèi)容。

5.根據(jù)權(quán)利要求4所述的方法，其中，所述基于所述目標(biāo)對象的圖像中除所述目標(biāo)區(qū)域之外的其他區(qū)域的圖像特征確定包括與所述圖像特征匹配的虛擬內(nèi)容，包括：

根據(jù)所述其他區(qū)域?qū)?yīng)的像素的顏色特征，按照預(yù)設(shè)的特征值統(tǒng)計(jì)算法獲得所述其他區(qū)域的主要顏色；

查詢預(yù)先配置的顏色映射關(guān)系，獲得與所述主要顏色對應(yīng)的對比顏色；

配置所述虛擬內(nèi)容的顯示顏色為所述對比顏色。

6.根據(jù)權(quán)利要求2所述的方法，其中，在將所述虛擬內(nèi)容應(yīng)用到所述目標(biāo)區(qū)域之前，所述方法還包括：

對分割結(jié)果中的所述目標(biāo)區(qū)域的輪廓進(jìn)行平滑處理。

7.根據(jù)權(quán)利要求6所述的方法，其中，所述對所述目標(biāo)區(qū)域的輪廓進(jìn)行平滑處理，包括：

使用包括預(yù)設(shè)高斯核的高斯平滑算法對所述目標(biāo)區(qū)域的輪廓進(jìn)行平滑處理。

8.根據(jù)權(quán)利要求1所述的方法，其中，所述將所述虛擬內(nèi)容應(yīng)用到所述目標(biāo)區(qū)域，生成添加了所述虛擬內(nèi)容的目標(biāo)對象的增強(qiáng)現(xiàn)實(shí)圖像，包括：

將應(yīng)用了所述虛擬內(nèi)容的目標(biāo)區(qū)域替代所述目標(biāo)對象的原始圖像中的對應(yīng)區(qū)域，生成添加了所述虛擬內(nèi)容的目標(biāo)對象的增強(qiáng)現(xiàn)實(shí)圖像。

9.一種增強(qiáng)現(xiàn)實(shí)裝置，包括：

預(yù)處理單元，被配置成對實(shí)時(shí)采集的目標(biāo)對象的原始圖像進(jìn)行預(yù)處理；

目標(biāo)區(qū)域確定單元，被配置成從經(jīng)過所述預(yù)處理后的目標(biāo)對象的圖像中確定出目標(biāo)區(qū)域；

虛擬內(nèi)容確定單元，被配置成確定與所述目標(biāo)區(qū)域?qū)?yīng)的虛擬內(nèi)容；

生成單元，被配置成將所述虛擬內(nèi)容應(yīng)用到所述目標(biāo)區(qū)域，生成添加了所述虛擬內(nèi)容的目標(biāo)對象的增強(qiáng)現(xiàn)實(shí)圖像。

10.根據(jù)權(quán)利要求9所述的裝置，其中，所述目標(biāo)區(qū)域確定單元進(jìn)一步被配置成：

將經(jīng)過預(yù)處理后的目標(biāo)對象的圖像輸入到預(yù)先訓(xùn)練的語義分割模型，得到包括所述目標(biāo)區(qū)域的分割結(jié)果，所述語義分割模型用于將所輸入的圖像分割成多個(gè)區(qū)域。

11.根據(jù)權(quán)利要求10所述的裝置，其中，所述語義分割模型為輕量級(jí)深度學(xué)習(xí)網(wǎng)絡(luò)。

12.根據(jù)權(quán)利要求9所述的裝置，其中，所述虛擬內(nèi)容確定單元進(jìn)一步被配置成：

基于所述目標(biāo)對象的圖像中除所述目標(biāo)區(qū)域之外的其他區(qū)域的圖像特征確定包括與所述圖像特征匹配的虛擬內(nèi)容。

13.根據(jù)權(quán)利要求12所述的裝置，其中，所述虛擬內(nèi)容確定單元進(jìn)一步被配置成：

根據(jù)所述其他區(qū)域?qū)?yīng)的像素的顏色特征，按照預(yù)設(shè)的特征值統(tǒng)計(jì)算法獲得所述其他區(qū)域的主要顏色；

查詢預(yù)先配置的顏色映射關(guān)系，獲得與所述主要顏色對應(yīng)的對比顏色；

配置所述虛擬內(nèi)容的顯示顏色為所述對比顏色。