[發明專利]音效控制方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010524732.6
• 申請日: 2020-06-10
• 公開（公告）號: CN111651054A
• 公開（公告）日: 2020-09-11
• 發明（設計）人: 潘思霽;揭志偉;張一
• 申請（專利權）人: 浙江商湯科技開發有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/0484;G06F3/0488;G06F3/16;G06Q50/14
• 代理公司: 北京中知法苑知識產權代理有限公司 11226
• 代理人: 李明;趙吉陽

本公開提供了一種音效控制方法、裝置、電子設備及存儲介質，其中，該方法包括：基于現實場景圖像中呈現的實體樂器，在AR設備中展示與所述實體樂器對應的虛擬樂器模型；在檢測到對所述AR設備中展示的虛擬樂器模型的敲擊操作之后，識別所述敲擊操作的敲擊力度；基于所述敲擊力度，確定所述敲擊操作對應的音效的播放音量；控制所述AR設備按照所述播放音量播放與所述敲擊操作對應的音效。

技術領域

本公開涉及計算機視覺技術領域，具體而言，涉及一種音效控制方法、裝置、電子設備及存儲介質。

背景技術

近年來，隨著文化旅游行業的快速發展，越來越多的用戶群體參觀各類展會或者博物館等。對于展會中的一些展示項目，比如展示的樂器等，出于保護展示的樂器的目的，通常是陳列在特定的展示區域供用戶來觀賞，不允許用戶實際操作樂器。但是這種觀賞方式很難感受展示的樂器帶來的音樂效果，缺乏一定的互動性，導致展示效果較為枯燥。

發明內容

本公開實施例至少提供一種音效控制方法、裝置、電子設備及存儲介質。

第一方面，本公開實施例提供一種增強現實音效控制方法，包括：

基于現實場景圖像中呈現的實體樂器，在增強現實AR設備中展示與所述實體樂器對應的虛擬樂器模型；

在檢測到對所述AR設備中展示的虛擬樂器模型的敲擊操作之后，識別所述敲擊操作的敲擊力度；

基于所述敲擊力度，確定所述敲擊操作對應的音效的播放音量；

控制所述AR設備按照所述播放音量播放與所述敲擊操作對應的音效。

本公開實施例中，可以基于現實場景圖像中呈現的實體樂器，在AR設備中展示實體樂器對應的虛擬樂器模型，還可以響應對虛擬樂器模型的敲擊操作，并基于敲擊操作的敲擊力度來控制敲擊操作對應的音效的播放音量，從而實現對虛擬樂器的模擬演奏。在應用于文化旅游行業時，對于一些樂器類的展示項目，可以在AR設備中展示虛擬樂器模型并基于敲擊操作的敲擊力度來控制虛擬樂器模型所播放的音效的音量，實現對虛擬樂器的模擬演奏，在保護展示項目的同時又使用戶能夠更加直觀、清晰地了解實體樂器的演奏效果等，提升了參觀展示項目過程中的用戶體驗，使參展過程更加富有互動性和趣味性。

本公開的一些實施例中，所述檢測到對所述AR設備中的展示的虛擬樂器模型的敲擊操作，包括：

基于所述現實場景圖像，檢測到在所述現實場景圖像呈現的現實場景中出現目標肢體動作，將所述目標肢體動作確定為對所述虛擬樂器模型的所述敲擊操作。

該實施方式中，可以基于用戶做出的肢體動作來實現對虛擬樂器的敲擊，加強了用戶與展示項目之間的互動性，提升了參觀展示項目過程中的用戶體驗。

本公開的一些實施例中，所述基于所述現實場景圖像，檢測到在所述現實場景圖像呈現的現實場景中出現目標肢體動作，包括：

對所述現實場景圖像中出現的肢體動作進行關鍵點識別，得到關鍵點識別結果；

基于關鍵點識別結果對所述肢體動作進行分類，得到所述肢體動作的類型；

若所述肢體動作的類型為預設的目標肢體動作類型，則確定所述現實場景圖像呈現的現實場景中出現所述目標肢體動作。

該實施方式中，可以通過關鍵點識別技術以及肢體動作的分類技術，來準確地識別用戶做出的肢體動作，以便在應用于虛擬樂器的模擬演奏時，能夠準確地識別并響應敲擊操作，提升用戶體驗度。

本公開的一些實施例中，所述識別所述敲擊操作的敲擊力度，包括：

檢測所述目標肢體動作被執行過程中的加速度信息；

基于所述加速度信息，確定所述敲擊操作的敲擊力度。