[發明專利]一種聲樂表演教學方法及系統

有效

• 申請號: 202110345912.2
• 申請日: 2021-03-31
• 公開（公告）號: CN112734946B
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 張進;王亮;張道強;板俊榮
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06F3/01;G06K9/00;G09B15/00;G09B5/06
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 徐曉鷺

1.一種聲樂表演教學方法，其特征在于，包括如下步驟：

S1，構建虛擬三維聲樂表演教學環境場景模型，構建學習者模型；

S2，學習者佩戴VR頭顯設備，在所述虛擬三維聲樂表演教學環境場景中進行聲樂學習、表演；

S3，圖像采集設備捕捉學習者表演的圖像信息，并將所述圖像信息與所述虛擬三維聲樂表演教學環境場景模型融合；

S4，設計試驗，利用虛擬現實場景刺激素材激發學習者產生不同的情緒，采集學習者的腦電信號；

S5，將學習者在未使用VR頭顯設備時聲樂學習的腦電信號，與使用VR頭顯設備進行聲樂學習后的腦電信號進行對比，得到學習者在虛擬現實場景刺激下所產生的不同情緒對于歌唱狀態的影響程度，根據得到的結果調整虛擬三維聲樂表演教學環境場景模型；

S5具體為：

S51，對想象情緒狀態下和虛擬三維聲樂表演教學環境場景刺激狀態下的腦電數據進行預處理和分析，分別繪制了不同情緒下，不同音樂頻段的腦電功率譜密度地形圖；

S52，設定情緒變化導致腦電功率譜密度地形圖的變化系數s，當s小于設定值時，調整虛擬三維聲樂表演教學環境場景模型中的燈光、音效，具體調整為：在正面情緒未受到充分提升時，增加舞臺燈光效果，選用更能夠渲染正面情緒的燈光顏色組合，或者增加特效音效，來增強虛擬三維聲樂表演教學環境場景模型對學習者的情緒刺激。

2.根據權利要求1所述的一種聲樂表演教學方法，其特征在于，S1中的所述虛擬三維聲樂表演教學環境場景模型包括虛擬場景布置，所述虛擬場景布置包括舞臺燈光、3D音樂音效、特效工具，以及虛擬麥克風、VR視頻音頻錄制、VR全景相機拍攝、第三角度攝像機、智能語音、智能AI技術；

S1中的學習者模型包括創建學習者面部和/或肢體的虛擬畫面。

3.根據權利要求1所述的一種聲樂表演教學方法，其特征在于，所述步驟S3具體為：

點陣投影器向人臉投射不可見的光點所組成點陣，通過紅外鏡頭讀取點陣圖案，并與攝像頭拍攝到的人臉進行聯立計算，進而獲得面部表情的深度信息，即真實的面部三維模型。

4.根據權利要求3所述的一種聲樂表演教學方法，其特征在于，

所述步驟S3面部圖像捕捉通過以下方法進行優化方法：

首先，預設素材庫，所述素材庫中包含圖片、視頻；

所述點陣投影器根據以下公式在不同光線下輸出不同的結果：

；

其中，-σ為點陣投影器發射出來的光線、σ為紅外鏡頭接收光線，是設定的光線條件，即明暗度，為面部識別精度，(x,y)為點陣投影器對面部表情的深度信息；1為素材庫中的人臉圖像，0為素材庫中的人臉視頻圖像，2為現場采集的立體圖像。

5.根據權利要求1所述的一種聲樂表演教學方法，其特征在于，所述步驟S3具體為：

S31，通過圖像采集設備，以及手部定位追蹤器采集學習者手部的位置；

S32，根據手部的位置，確定手部在設定范圍內，根據設定的手部動作規則，確認手部在虛擬三維聲樂表演教學環境場景的動作；

S33，將手部動作的畫面與虛擬三維聲樂表演教學環境場景模型相融合，使其在虛擬三維聲樂表演教學環境場景中能夠被學習者實時觀測。

6.根據權利要求1所述的一種聲樂表演教學方法，其特征在于，所述步驟S4根據不同學習者的演唱水平、知識背景和生活經歷，設定不同情緒的歌曲作為刺激素材，所述刺激素材包含誘發產生愉悅、平靜、悲傷三種情緒的歌曲。