[發(fā)明專利]一種基于計(jì)算機(jī)深度學(xué)習(xí)的兒童音樂智能陪練方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110550086.5
• 申請日: 2021-05-20
• 公開（公告）號: CN113286193A
• 公開（公告）日: 2021-08-20
• 發(fā)明（設(shè)計(jì)）人: 徐航
• 申請（專利權(quán)）人: 南京琴天文化科技有限公司
• 主分類號: H04N21/439
• 分類號: H04N21/439;H04N21/44;H04N21/441;H04N21/466;G06F16/632;G06F16/68;G06K9/00;G06N3/04;G09B5/08;G10L25/60;G10L25/63
• 代理公司: 南京中盟科創(chuàng)知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 32279
• 代理人: 孫麗君

本發(fā)明公開了一種基于計(jì)算機(jī)深度學(xué)習(xí)的兒童音樂智能陪練方法及系統(tǒng)，該方法包括以下步驟：錄入曲目得到練習(xí)方案并進(jìn)行練習(xí)；采集并處理演奏者的音頻數(shù)據(jù)及視頻數(shù)據(jù)；通過手型規(guī)范模型及與視頻數(shù)據(jù)進(jìn)行對比，將標(biāo)準(zhǔn)樂音結(jié)構(gòu)化數(shù)據(jù)與演奏者樂音結(jié)構(gòu)化數(shù)據(jù)進(jìn)行對比，獲得樂曲完成度評價(jià)及指導(dǎo)建議；若樂曲完成度評價(jià)達(dá)到預(yù)先設(shè)定的標(biāo)準(zhǔn)，則檢索得到推薦練習(xí)的曲目，并進(jìn)行情感標(biāo)簽標(biāo)識；演奏者通過情感標(biāo)簽標(biāo)識判斷是否練習(xí)推薦練習(xí)的曲目，若否，則重新執(zhí)行上一步驟；將演奏者的音頻數(shù)據(jù)、視頻數(shù)據(jù)及完成度發(fā)送至老師終端和家長終端。有益效果：可使學(xué)生獨(dú)立自主的完成音樂曲目的練習(xí)，提高老師的教學(xué)質(zhì)量，幫助學(xué)生對練習(xí)曲目的規(guī)劃。

技術(shù)領(lǐng)域

本發(fā)明涉及音樂拾取和識別，音樂音頻數(shù)據(jù)分析，智能規(guī)劃系統(tǒng)，計(jì)算機(jī)深度學(xué)習(xí)，具體來說，涉及一種基于計(jì)算機(jī)深度學(xué)習(xí)的兒童音樂智能陪練方法及系統(tǒng)。

背景技術(shù)

兒童在在年紀(jì)為三到十歲期間，進(jìn)行音樂或者樂器的訓(xùn)練，可以在聽力辨別以及協(xié)調(diào)能力都能夠得到提高，且孩子大腦的接受能力就會更強(qiáng)，學(xué)習(xí)東西的效率也會得到提升。

絕大部分的學(xué)生在學(xué)習(xí)音樂樂器的時(shí)候，需要家長陪練或者請專業(yè)的老師進(jìn)行監(jiān)督陪練。現(xiàn)有的一款類似軟件，名為：伴魚AI(Artificial Intelligence，人工智能)智能陪練。這款軟件是在練琴的時(shí)候，收錄聲音，對聲音進(jìn)行分析，糾正錯(cuò)音和節(jié)奏。但是缺點(diǎn)也很明顯，對于手型、力度等方面的內(nèi)容沒辦法糾正。并且它只能針對一首曲子進(jìn)行智能陪練，不能代替家長幫助孩子完成全套的音樂練習(xí)。

針對相關(guān)技術(shù)中的問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

針對相關(guān)技術(shù)中的問題，本發(fā)明提出一種基于計(jì)算機(jī)深度學(xué)習(xí)的兒童音樂智能陪練方法及系統(tǒng)，以克服現(xiàn)有相關(guān)技術(shù)所存在的上述技術(shù)問題。

為此，本發(fā)明采用的具體技術(shù)方案如下：

根據(jù)本發(fā)明的一方面，提供了一種基于計(jì)算機(jī)深度學(xué)習(xí)的兒童音樂智能陪練方法，該方法包括以下步驟：

S1、根據(jù)老師布置的練習(xí)任務(wù)，將需要練習(xí)的曲目錄入至系統(tǒng)中，并對錄入的曲目進(jìn)行分析，同時(shí)根據(jù)分析的結(jié)果得到練習(xí)方案，演奏者根據(jù)練習(xí)方案及提示語音進(jìn)行曲目的練習(xí)；

S2、啟動音頻采集模塊及視頻采集模塊，并通過音頻采集模塊及視頻采集模塊對演奏者的音頻數(shù)據(jù)及視頻數(shù)據(jù)進(jìn)行采集，同時(shí)將采集到的音頻數(shù)據(jù)轉(zhuǎn)化為演奏者樂音結(jié)構(gòu)化數(shù)據(jù)；

S3、將事先通過深度學(xué)習(xí)得到的手型規(guī)范模型及與視頻數(shù)據(jù)進(jìn)行對比，同時(shí)將標(biāo)準(zhǔn)樂音結(jié)構(gòu)化數(shù)據(jù)與演奏者樂音結(jié)構(gòu)化數(shù)據(jù)進(jìn)行對比，獲得樂曲完成度評價(jià)及指導(dǎo)建議；

S4、若樂曲完成度評價(jià)達(dá)到預(yù)先設(shè)定的標(biāo)準(zhǔn)，則根據(jù)演奏者輸入的關(guān)鍵詞，得到推薦練習(xí)的曲目，并對檢索后的推薦練習(xí)曲目進(jìn)行情感標(biāo)簽標(biāo)識；

S5、演奏者通過情感標(biāo)簽標(biāo)識判斷是否練習(xí)推薦練習(xí)的曲目，若否，則重新執(zhí)行步驟S4，直至選擇到合適的練習(xí)曲目；

S6、將演奏者的音頻數(shù)據(jù)、視頻數(shù)據(jù)及完成度評價(jià)上傳和記錄，并將該記錄發(fā)送至老師終端和家長終端。

進(jìn)一步的，所述S2中通過音頻采集模塊及視頻采集模塊對演奏者的音頻數(shù)據(jù)及視頻數(shù)據(jù)進(jìn)行采集，同時(shí)將采集到的音頻數(shù)據(jù)轉(zhuǎn)化為演奏者樂音結(jié)構(gòu)化數(shù)據(jù)還包括以下步驟：

S21、通過音頻采集模塊對演奏者的音頻數(shù)據(jù)進(jìn)行采集，同時(shí)將采集到的音頻數(shù)據(jù)轉(zhuǎn)化為演奏者樂音結(jié)構(gòu)化數(shù)據(jù)；

S22、通過視頻采集模塊對演奏者的視頻數(shù)據(jù)進(jìn)行采集。

進(jìn)一步的，所述S21中通過音頻采集模塊對演奏者的音頻數(shù)據(jù)進(jìn)行采集，同時(shí)將采集到的音頻數(shù)據(jù)轉(zhuǎn)化為演奏者樂音結(jié)構(gòu)化數(shù)據(jù)還包括以下步驟：

S211、通過兩個(gè)不同點(diǎn)位的音頻采集模塊對演奏者的音頻數(shù)據(jù)及環(huán)境噪聲進(jìn)行采集；