[發明專利]增強現實場景下的展示方法、裝置、電子設備及存儲介質

有效

• 申請號: 202011233879.6
• 申請日: 2020-11-06
• 公開（公告）號: CN112348969B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 劉旭;欒青;李斌
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T7/70
• 代理公司: 北京中知恒瑞知識產權代理事務所(普通合伙) 11889
• 代理人: 吳迪

1.一種增強現實場景下的展示方法，其特征在于，包括：

獲取增強現實AR設備拍攝的當前場景圖像；

基于所述當前場景圖像對目標對象的識別結果，確定所述目標對象匹配的特效數據以及所述特效數據的展示位置信息；

基于所述展示位置信息，控制所述AR設備播放所述特效數據；所述特效數據包括音頻或者所述特效數據包括虛擬影像和音頻，所述虛擬影像與所述目標對象之間的展示位置具有預設位置關系；其中，所述基于所述展示位置信息，控制所述AR設備播放所述特效數據，包括：

在確定所述目標對象的至少部分在所述AR設備的圖像展示范圍的情況下，基于所述展示位置信息，控制所述AR設備播放至少部分所述特效數據；

在確定所述目標對象未在所述AR設備的圖像展示范圍的情況下，基于所述展示位置信息，控制所述AR設備按照所述音頻的已播放進度繼續播放所述音頻。

2.根據權利要求1所述的展示方法，其特征在于，所述基于所述當前場景圖像對目標對象的識別結果，確定所述特效數據的展示位置信息，包括：

在所述當前場景圖像中識別到所述目標對象的情況下，基于所述目標對象在所述當前場景圖像中的圖像位置信息，確定所述特效數據的展示位置信息；

在所述當前場景圖像中未識別到所述目標對象的情況下，獲取世界坐標系下所述目標對象與所述AR設備之間的相對位置信息，并基于所述相對位置信息，確定所述特效數據的展示位置信息。

3.根據權利要求1或2所述的展示方法，其特征在于，所述虛擬影像包括全息影像；

所述方法還包括：

獲取與所述目標對象匹配的待處理視頻，所述待處理視頻中包括與所述目標對象關聯的目標關聯對象；

為所述待處理視頻中的每個像素點設置透明通道，得到第一視頻；

基于所述透明通道，從所述第一視頻中去除背景像素點，得到第二視頻；

基于所述第二視頻生成包括所述目標關聯對象的全息影像。

4.根據權利要求3所述的展示方法，其特征在于，所述基于所述透明通道，從所述第一視頻中去除背景像素點，得到第二視頻，包括：

將第一視頻中的背景像素點對應的透明通道設置為白色，得到第三視頻；所述第一視頻包括所述目標關聯對象的目標像素點和除所述目標像素點以外的背景像素點；

將第一視頻中的第一類像素點對應的透明通道設置為黑色，將第一視頻中的第二類像素點對應的透明通道設置為白色，將第一視頻中的第三類像素點對應的透明通道設置為預設灰色值，得到第四視頻；所述第三類像素點包括與背景像素點相鄰的目標像素點和與目標像素點相鄰的背景像素點；所述第一類像素點包括除第三類像素點以外的背景像素點，所述第二類像素點包括除第三類像素點以外的目標像素點；

基于第三視頻和第四視頻，生成所述第二視頻。

5.根據權利要求1或2所述的展示方法，其特征在于，所述虛擬影像包括多個虛擬對象的影像，以及多個虛擬對象之間的展示順序和/或交互數據；

所述基于所述展示位置信息，控制所述AR設備播放所述特效數據，包括：

在所述展示位置信息對應的展示位置上，基于多個虛擬對象之間的展示順序和/或交互數據，展示所述虛擬對象的影像。

6.根據權利要求2所述的展示方法，其特征在于，所述基于所述目標對象在所述當前場景圖像中的圖像位置信息，確定所述特效數據的展示位置信息，包括：

基于所述目標對象在所述當前場景圖像中的圖像位置信息，確定所述目標對象在世界坐標系下的位置信息；

基于所述目標對象在所述世界坐標系下的位置信息和所述AR設備在所述世界坐標系下的位置信息，確定所述特效數據的展示位置信息。

7.根據權利要求2所述的展示方法，其特征在于，所述獲取世界坐標系下所述目標對象與所述AR設備之間的相對位置信息，包括：

基于所述當前場景圖像、歷史場景圖像、以及所述AR設備在拍攝所述歷史場景圖像時與所述目標對象在世界坐標系下的相對位置信息，確定所述AR設備在拍攝當前場景圖像時，與所述目標對象之間的相對位置信息。