[發明專利]一種基于計算機深度學習的兒童音樂智能陪練方法及系統

在審

• 申請號: 202110550086.5
• 申請日: 2021-05-20
• 公開（公告）號: CN113286193A
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 徐航
• 申請（專利權）人: 南京琴天文化科技有限公司
• 主分類號: H04N21/439
• 分類號: H04N21/439;H04N21/44;H04N21/441;H04N21/466;G06F16/632;G06F16/68;G06K9/00;G06N3/04;G09B5/08;G10L25/60;G10L25/63
• 代理公司: 南京中盟科創知識產權代理事務所(特殊普通合伙) 32279
• 代理人: 孫麗君

1.一種基于計算機深度學習的兒童音樂智能陪練方法，其特征在于，該方法包括以下步驟：

S1、根據老師布置的練習任務，將需要練習的曲目錄入至系統中，并對錄入的曲目進行分析，同時根據分析的結果得到練習方案，演奏者根據練習方案及提示語音進行曲目的練習；

S2、啟動音頻采集模塊及視頻采集模塊，并通過音頻采集模塊及視頻采集模塊對演奏者的音頻數據及視頻數據進行采集，同時將采集到的音頻數據轉化為演奏者樂音結構化數據；

S3、將事先通過深度學習得到的手型規范模型及與視頻數據進行對比，同時將標準樂音結構化數據與演奏者樂音結構化數據進行對比，獲得樂曲完成度評價及指導建議；

S4、若樂曲完成度評價達到預先設定的標準，則根據演奏者輸入的關鍵詞，得到推薦練習的曲目，并對檢索后的推薦練習曲目進行情感標簽標識；

S5、演奏者通過情感標簽標識判斷是否練習推薦練習的曲目，若否，則重新執行步驟S4，直至選擇到合適的練習曲目；

S6、將演奏者的音頻數據、視頻數據及完成度評價上傳和記錄，并將該記錄發送至老師終端和家長終端。

2.根據權利要求1所述的一種基于計算機深度學習的兒童音樂智能陪練方法，其特征在于，所述S2中通過音頻采集模塊及視頻采集模塊對演奏者的音頻數據及視頻數據進行采集，同時將采集到的音頻數據轉化為演奏者樂音結構化數據還包括以下步驟：

S21、通過音頻采集模塊對演奏者的音頻數據進行采集，同時將采集到的音頻數據轉化為演奏者樂音結構化數據；

S22、通過視頻采集模塊對演奏者的視頻數據進行采集。

3.根據權利要求2所述的一種基于計算機深度學習的兒童音樂智能陪練方法，其特征在于，所述S21中通過音頻采集模塊對演奏者的音頻數據進行采集，同時將采集到的音頻數據轉化為演奏者樂音結構化數據還包括以下步驟：

S211、通過兩個不同點位的音頻采集模塊對演奏者的音頻數據及環境噪聲進行采集；

S212、通過DSP函數處理產生聲學反相波普抵消環境噪聲，獲得降噪后的音頻信號；

S213、對降噪后的音頻信號進行電信號處理形成數字化音頻信息；

S214、將數字化音頻信息轉化為數字音樂文件，同時將數字音樂文件傳入樂音識別模型，并轉化為演奏者樂音結構化數據。

4.根據權利要求2所述的一種基于計算機深度學習的兒童音樂智能陪練方法，其特征在于，所述S22中通過視頻采集模塊對演奏者的視頻數據進行采集還包括以下步驟：

S221、通過CCD高清攝像頭對演奏者進行拍攝，并將獲取的模擬圖像信號輸入AD轉換芯片，AD轉換芯片將模擬圖像信號輸入至FPGA；

S222、FPGA將接收的信號進行解碼并進行白平衡和伽馬校正處理后，經格式轉換得到視頻信號，同時將視頻信息轉化為視頻數據。

5.根據權利要求1所述的一種基于計算機深度學習的兒童音樂智能陪練方法，其特征在于，所述S3中將事先通過深度學習得到的手型規范模型及與視頻數據進行對比，獲得樂曲完成度評價及指導建議還包括以下步驟：

S31、對樂曲演奏示范動作進行拍攝，并將示范動作保存為示范動作圖像；

S32、采用Caffe中基于卷積神經網絡的物體檢測識別框架，對示范動作圖像進行識別訓練，得到示范動作識別模型；

S33、通過示范動作識別模型對視頻數據中的演奏者動作圖像進行搜索，并通過示范動作識別模型將演奏者動作圖像與示范動作進行比較運算，輸出動作完成度評價及指導建議。

6.根據權利要求5所述的一種基于計算機深度學習的兒童音樂智能陪練方法，其特征在于，所述S32中示范動作識別模型學習并記憶包括但不限于身體部位的位置、身體移動幅度、身體移動速度及身體移動頻率。