[發明專利]基于AR的交互控制方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010528088.X
• 申請日: 2020-06-10
• 公開（公告）號: CN111679742A
• 公開（公告）日: 2020-09-18
• 發明（設計）人: 潘思霽;揭志偉;張一
• 申請（專利權）人: 浙江商湯科技開發有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/16;G06T19/00;G06Q50/14
• 代理公司: 北京中知法苑知識產權代理有限公司 11226
• 代理人: 李明;趙吉陽

1.一種基于AR的交互控制方法，其特征在于，包括：

獲取增強現實AR設備拍攝的現實場景圖像；

在檢測到所述現實場景圖像中呈現有實體樂器的情況下，在AR設備中展示與所述實體樂器對應的虛擬樂器模型；

接收針對所述AR設備中展示的虛擬樂器模型的觸發操作；

基于所述觸發操作，控制所述AR設備播放與所述觸發操作對應的音效。

2.根據權利要求1所述的方法，其特征在于，所述虛擬樂器模型包括多種類型的虛擬部件，不同類型的虛擬部件被觸發后呈現的音效不同。

3.根據權利要求2所述的方法，其特征在于，所述基于所述觸發操作，控制所述AR設備播放與所述觸發操作對應的音效，包括：

檢測所述觸發操作在展示的所述虛擬樂器模型上的觸發位置；

基于所述觸發位置，確定所述虛擬樂器模型上被觸發的虛擬部件；

控制所述AR設備播放所述被觸發的虛擬部件對應的音效。

4.根據權利要求1至3任一所述的方法，其特征在于，所述在AR設備中展示與所述實體樂器對應的虛擬樂器模型，包括：

基于所述現實場景圖像中呈現的所述實體樂器的特征信息，獲取所述實體樂器對應的虛擬樂器模型；

在所述AR設備中展示所述現實場景圖像與所述虛擬樂器模型相結合的AR效果。

5.根據權利要求1至4任一所述的方法，其特征在于，所述方法還包括：

獲取所述AR設備在拍攝所述現實場景圖像時的拍攝位姿數據；

基于所述拍攝位姿數據，確定所述虛擬樂器模型在預設三維場景模型中的呈現位姿數據；

基于所述呈現位姿數據，確定所述虛擬樂器模型在所述AR設備中呈現的目標位姿；

所述在所述AR設備中展示所述現實場景圖像與所述虛擬樂器模型相結合的AR效果，包括：

在所述AR設備中展示所述現實場景圖像與符合所述目標位姿的所述虛擬樂器模型相結合的AR效果。

6.一種基于AR的交互控制裝置，其特征在于，包括：

獲取模塊，用于獲取AR設備拍攝的現實場景圖像；

展示模塊，用于在檢測到所述現實場景圖像中呈現有實體樂器的情況下，在AR設備中展示與所述實體樂器對應的虛擬樂器模型；

接收模塊，用于接收針對所述AR設備中展示的虛擬樂器模型的觸發操作；

控制模塊，用于基于所述觸發操作，控制所述AR設備播放與所述觸發操作對應的音效。

7.根據權利要求6所述的裝置，其特征在于，所述虛擬樂器模型包括多種類型的虛擬部件，不同類型的虛擬部件被觸發后呈現的音效不同。

8.根據權利要求7所述的裝置，其特征在于，所述控制模塊，在基于所述觸發操作，控制所述AR設備播放與所述觸發操作對應的音效時，具體用于：

檢測所述觸發操作在展示的所述虛擬樂器模型上的觸發位置；

基于所述觸發位置，確定所述虛擬樂器模型上被觸發的虛擬部件；

控制所述AR設備播放所述被觸發的虛擬部件對應的音效。

9.一種電子設備，其特征在于，包括：處理器、存儲器，所述存儲器存儲有所述處理器可執行的機器可讀指令，所述處理器用于執行所述存儲器中存儲的機器可讀指令，所述機器可讀指令被所述處理器執行時，所述處理器執行如權利要求1至5任一項所述的基于AR的交互控制方法的步驟。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被電子設備運行時，所述電子設備執行如權利要求1至5任意一項所述的基于AR的交互控制方法的步驟。