[發(fā)明專利]增強(qiáng)現(xiàn)實(shí)場(chǎng)景下的展示方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011233879.6
• 申請(qǐng)日: 2020-11-06
• 公開(kāi)（公告）號(hào): CN112348969B
• 公開(kāi)（公告）日: 2023-04-25
• 發(fā)明（設(shè)計(jì)）人: 劉旭;欒青;李斌
• 申請(qǐng)（專利權(quán)）人: 北京市商湯科技開(kāi)發(fā)有限公司
• 主分類號(hào): G06T19/00
• 分類號(hào): G06T19/00;G06T7/70
• 代理公司: 北京中知恒瑞知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11889
• 代理人: 吳迪

1.一種增強(qiáng)現(xiàn)實(shí)場(chǎng)景下的展示方法，其特征在于，包括：

獲取增強(qiáng)現(xiàn)實(shí)AR設(shè)備拍攝的當(dāng)前場(chǎng)景圖像；

基于所述當(dāng)前場(chǎng)景圖像對(duì)目標(biāo)對(duì)象的識(shí)別結(jié)果，確定所述目標(biāo)對(duì)象匹配的特效數(shù)據(jù)以及所述特效數(shù)據(jù)的展示位置信息；

基于所述展示位置信息，控制所述AR設(shè)備播放所述特效數(shù)據(jù)；所述特效數(shù)據(jù)包括音頻或者所述特效數(shù)據(jù)包括虛擬影像和音頻，所述虛擬影像與所述目標(biāo)對(duì)象之間的展示位置具有預(yù)設(shè)位置關(guān)系；其中，所述基于所述展示位置信息，控制所述AR設(shè)備播放所述特效數(shù)據(jù)，包括：

在確定所述目標(biāo)對(duì)象的至少部分在所述AR設(shè)備的圖像展示范圍的情況下，基于所述展示位置信息，控制所述AR設(shè)備播放至少部分所述特效數(shù)據(jù)；

在確定所述目標(biāo)對(duì)象未在所述AR設(shè)備的圖像展示范圍的情況下，基于所述展示位置信息，控制所述AR設(shè)備按照所述音頻的已播放進(jìn)度繼續(xù)播放所述音頻。

2.根據(jù)權(quán)利要求1所述的展示方法，其特征在于，所述基于所述當(dāng)前場(chǎng)景圖像對(duì)目標(biāo)對(duì)象的識(shí)別結(jié)果，確定所述特效數(shù)據(jù)的展示位置信息，包括：

在所述當(dāng)前場(chǎng)景圖像中識(shí)別到所述目標(biāo)對(duì)象的情況下，基于所述目標(biāo)對(duì)象在所述當(dāng)前場(chǎng)景圖像中的圖像位置信息，確定所述特效數(shù)據(jù)的展示位置信息；

在所述當(dāng)前場(chǎng)景圖像中未識(shí)別到所述目標(biāo)對(duì)象的情況下，獲取世界坐標(biāo)系下所述目標(biāo)對(duì)象與所述AR設(shè)備之間的相對(duì)位置信息，并基于所述相對(duì)位置信息，確定所述特效數(shù)據(jù)的展示位置信息。

3.根據(jù)權(quán)利要求1或2所述的展示方法，其特征在于，所述虛擬影像包括全息影像；

所述方法還包括：

獲取與所述目標(biāo)對(duì)象匹配的待處理視頻，所述待處理視頻中包括與所述目標(biāo)對(duì)象關(guān)聯(lián)的目標(biāo)關(guān)聯(lián)對(duì)象；

為所述待處理視頻中的每個(gè)像素點(diǎn)設(shè)置透明通道，得到第一視頻；

基于所述透明通道，從所述第一視頻中去除背景像素點(diǎn)，得到第二視頻；

基于所述第二視頻生成包括所述目標(biāo)關(guān)聯(lián)對(duì)象的全息影像。

4.根據(jù)權(quán)利要求3所述的展示方法，其特征在于，所述基于所述透明通道，從所述第一視頻中去除背景像素點(diǎn)，得到第二視頻，包括：

將第一視頻中的背景像素點(diǎn)對(duì)應(yīng)的透明通道設(shè)置為白色，得到第三視頻；所述第一視頻包括所述目標(biāo)關(guān)聯(lián)對(duì)象的目標(biāo)像素點(diǎn)和除所述目標(biāo)像素點(diǎn)以外的背景像素點(diǎn)；

將第一視頻中的第一類像素點(diǎn)對(duì)應(yīng)的透明通道設(shè)置為黑色，將第一視頻中的第二類像素點(diǎn)對(duì)應(yīng)的透明通道設(shè)置為白色，將第一視頻中的第三類像素點(diǎn)對(duì)應(yīng)的透明通道設(shè)置為預(yù)設(shè)灰色值，得到第四視頻；所述第三類像素點(diǎn)包括與背景像素點(diǎn)相鄰的目標(biāo)像素點(diǎn)和與目標(biāo)像素點(diǎn)相鄰的背景像素點(diǎn)；所述第一類像素點(diǎn)包括除第三類像素點(diǎn)以外的背景像素點(diǎn)，所述第二類像素點(diǎn)包括除第三類像素點(diǎn)以外的目標(biāo)像素點(diǎn)；

基于第三視頻和第四視頻，生成所述第二視頻。

5.根據(jù)權(quán)利要求1或2所述的展示方法，其特征在于，所述虛擬影像包括多個(gè)虛擬對(duì)象的影像，以及多個(gè)虛擬對(duì)象之間的展示順序和/或交互數(shù)據(jù)；

所述基于所述展示位置信息，控制所述AR設(shè)備播放所述特效數(shù)據(jù)，包括：

在所述展示位置信息對(duì)應(yīng)的展示位置上，基于多個(gè)虛擬對(duì)象之間的展示順序和/或交互數(shù)據(jù)，展示所述虛擬對(duì)象的影像。

6.根據(jù)權(quán)利要求2所述的展示方法，其特征在于，所述基于所述目標(biāo)對(duì)象在所述當(dāng)前場(chǎng)景圖像中的圖像位置信息，確定所述特效數(shù)據(jù)的展示位置信息，包括：

基于所述目標(biāo)對(duì)象在所述當(dāng)前場(chǎng)景圖像中的圖像位置信息，確定所述目標(biāo)對(duì)象在世界坐標(biāo)系下的位置信息；

基于所述目標(biāo)對(duì)象在所述世界坐標(biāo)系下的位置信息和所述AR設(shè)備在所述世界坐標(biāo)系下的位置信息，確定所述特效數(shù)據(jù)的展示位置信息。

7.根據(jù)權(quán)利要求2所述的展示方法，其特征在于，所述獲取世界坐標(biāo)系下所述目標(biāo)對(duì)象與所述AR設(shè)備之間的相對(duì)位置信息，包括：

基于所述當(dāng)前場(chǎng)景圖像、歷史場(chǎng)景圖像、以及所述AR設(shè)備在拍攝所述歷史場(chǎng)景圖像時(shí)與所述目標(biāo)對(duì)象在世界坐標(biāo)系下的相對(duì)位置信息，確定所述AR設(shè)備在拍攝當(dāng)前場(chǎng)景圖像時(shí)，與所述目標(biāo)對(duì)象之間的相對(duì)位置信息。