[發(fā)明專利]基于AR的交互控制方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010528088.X
• 申請日: 2020-06-10
• 公開（公告）號: CN111679742A
• 公開（公告）日: 2020-09-18
• 發(fā)明（設(shè)計）人: 潘思霽;揭志偉;張一
• 申請（專利權(quán)）人: 浙江商湯科技開發(fā)有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/16;G06T19/00;G06Q50/14
• 代理公司: 北京中知法苑知識產(chǎn)權(quán)代理有限公司 11226
• 代理人: 李明;趙吉陽

本公開提供了一種基于AR的交互控制方法、裝置、電子設(shè)備及存儲介質(zhì)，其中，該方法包括：獲取AR設(shè)備拍攝的現(xiàn)實場景圖像；在檢測到所述現(xiàn)實場景圖像中呈現(xiàn)有實體樂器的情況下，在AR設(shè)備中展示與所述實體樂器對應(yīng)的虛擬樂器模型；接收針對所述AR設(shè)備中展示的虛擬樂器模型的觸發(fā)操作；基于所述觸發(fā)操作，控制所述AR設(shè)備播放與所述觸發(fā)操作對應(yīng)的音效。

技術(shù)領(lǐng)域

本公開涉及計算機視覺技術(shù)領(lǐng)域，具體而言，涉及一種基于AR的交互控制方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

近年來，隨著文化旅游行業(yè)的快速發(fā)展，越來越多的用戶群體參觀各類展會或者博物館等。對于展會中的一些展示項目，特別是一些歷史文物，出于保護文物的目的，通常是陳列在特定的展示區(qū)域供用戶來觀賞。但是這種觀賞方式缺乏一定的互動性，導(dǎo)致部分用戶對展示項目的關(guān)注度不夠，展示項目很難達到預(yù)期的展示效果。

發(fā)明內(nèi)容

本公開實施例至少提供一種基于AR的交互控制方法、裝置、電子設(shè)備及存儲介質(zhì)。

第一方面，本公開實施例提供一種增強現(xiàn)實基于AR的交互控制方法，包括：

獲取增強現(xiàn)實AR設(shè)備拍攝的現(xiàn)實場景圖像；

在檢測到所述現(xiàn)實場景圖像中呈現(xiàn)有實體樂器的情況下，在AR設(shè)備中展示與所述實體樂器對應(yīng)的虛擬樂器模型；

接收針對所述AR設(shè)備中展示的虛擬樂器模型的觸發(fā)操作；

基于所述觸發(fā)操作，控制所述AR設(shè)備播放與所述觸發(fā)操作對應(yīng)的音效。

本公開實施例中，在現(xiàn)實場景圖像中識別到實體樂器之后，可以在AR設(shè)備中呈現(xiàn)實體樂器對應(yīng)的虛擬樂器模型，還可以響應(yīng)對虛擬樂器模型的觸發(fā)操作，播放觸發(fā)操作對應(yīng)的音效，從而實現(xiàn)對虛擬樂器的模擬演奏。在應(yīng)用于文化旅游行業(yè)時，對于一些樂器類的歷史文物的展示項目，可以在AR設(shè)備中展示虛擬樂器模型并基于觸發(fā)操作實現(xiàn)對虛擬樂器進行模擬演奏，在保護歷史文物的同時又幫助用戶更加直觀、清晰的了解實體樂器的演奏效果等，提升了參觀展示項目過程中的用戶體驗，使參展過程更加富有互動性和趣味性。

在一些實施例中，所述虛擬樂器模型包括多種類型的虛擬部件，不同類型的虛擬部件被觸發(fā)后呈現(xiàn)的音效不同。

在一些實施例中，所述基于所述觸發(fā)操作，控制所述AR設(shè)備播放與所述觸發(fā)操作對應(yīng)的音效，包括：

檢測所述觸發(fā)操作在展示的所述虛擬樂器模型上的觸發(fā)位置；

基于所述觸發(fā)位置，確定所述虛擬樂器模型上被觸發(fā)的虛擬部件；

控制所述AR設(shè)備播放所述被觸發(fā)的虛擬部件對應(yīng)的音效。

該實施例中，對于類似編鐘等具有多種部件的實體樂器，也可以同步重構(gòu)具有多種類型的虛擬部件的虛擬樂器模型，在接收到觸發(fā)操作之后，通過識別觸發(fā)操作所觸發(fā)的位置來確定被觸發(fā)的虛擬部件，進而播放被觸發(fā)的虛擬部件對應(yīng)的音效，由此可以響應(yīng)用戶對不同虛擬部件的觸發(fā)操作，播放出由不同虛擬部件對應(yīng)的音效組合而成的樂曲，提升了參觀展示項目過程中的用戶體驗，使參展過程更加富有互動性和趣味性。

在一些實施例中，所述在AR設(shè)備中展示與所述實體樂器對應(yīng)的虛擬樂器模型，包括：

基于所述現(xiàn)實場景圖像中呈現(xiàn)的所述實體樂器的特征信息，獲取所述實體樂器對應(yīng)的虛擬樂器模型；

在所述AR設(shè)備中展示所述現(xiàn)實場景圖像與所述虛擬樂器模型相結(jié)合的AR效果。

該實施例中，可以基于實體樂器的特征信息，通過重建或者從預(yù)設(shè)虛擬對象模型庫中獲取虛擬樂器模型的方式，來呈現(xiàn)現(xiàn)實場景圖像與虛擬樂器模型相結(jié)合的AR效果，提升視覺效果。

在一些實施例中，所述方法還包括：