[發(fā)明專利]一種智能音律校對(duì)系統(tǒng)、方法、存儲(chǔ)介質(zhì)、設(shè)備及終端

在審

• 申請(qǐng)?zhí)枺?/td>: 202110576880.7
• 申請(qǐng)日: 2021-05-26
• 公開(kāi)（公告）號(hào): CN113409746A
• 公開(kāi)（公告）日: 2021-09-17
• 發(fā)明（設(shè)計(jì)）人: 卞藝衡;甘寒琪;黃喜琳;戴欣
• 申請(qǐng)（專利權(quán)）人: 重慶大學(xué)
• 主分類號(hào): G10G7/00
• 分類號(hào): G10G7/00;G06F16/68;G06F17/14;G06K7/14
• 代理公司: 重慶市信立達(dá)專利代理事務(wù)所(普通合伙) 50230
• 代理人: 任葦

1.一種智能音律校對(duì)方法，其特征在于，所述智能音律校對(duì)方法包括：

二維碼識(shí)別部分，主控芯片對(duì)FreeRTOS系統(tǒng)、攝像頭和屏幕外設(shè)進(jìn)行初始化，將攝像頭的圖像以灰度模式進(jìn)行輸入，再于以HDMI線進(jìn)行連接的屏幕上進(jìn)行輸出顯示；

接著在屏幕左上角對(duì)提示信息進(jìn)行初始化，通過(guò)指定坐標(biāo)的方式，在顯示屏左上角回顯現(xiàn)在是否識(shí)別到二維碼；

軟件調(diào)出對(duì)應(yīng)的電子樂(lè)譜數(shù)據(jù)，再另一個(gè)交互界面專用的顯示屏上進(jìn)行提示數(shù)據(jù)的回顯，提示用戶開(kāi)始練習(xí)，并等待用戶輸入的指令；

到此開(kāi)始進(jìn)入第二個(gè)部分，即音準(zhǔn)識(shí)別的部分，進(jìn)入循環(huán)聲音檢測(cè)模塊。

2.如權(quán)利要求1所述智能音律校對(duì)方法，其特征在于，當(dāng)攝像頭接收到含有二維碼的畫(huà)面后，將其與二維碼識(shí)別開(kāi)源庫(kù)zx ing進(jìn)行解碼，并取回解碼內(nèi)容；在顯示屏左上角進(jìn)行回顯，并將其與曲庫(kù)中已保存的樂(lè)譜標(biāo)識(shí)數(shù)據(jù)進(jìn)行比對(duì)。

3.如權(quán)利要求1所述智能音律校對(duì)方法，其特征在于，顯示當(dāng)前應(yīng)演奏的單音的唱名，使初學(xué)用戶的快速了解，再以1秒為間隔循環(huán)錄音并識(shí)別。

4.如權(quán)利要求1所述智能音律校對(duì)方法，其特征在于，聲音檢測(cè)模塊聲音檢測(cè)的具體過(guò)程為：

用戶所演奏的聲音，經(jīng)過(guò)濾波與快速傅立葉變換的處理；

首先判斷用戶是否正在演奏或未對(duì)準(zhǔn)話筒，聲音過(guò)小，再與庫(kù)中標(biāo)準(zhǔn)音高頻率比對(duì)表進(jìn)行對(duì)照，得到比對(duì)結(jié)果并在顯示屏上進(jìn)行實(shí)時(shí)提示；

音準(zhǔn)準(zhǔn)確則進(jìn)入下一個(gè)單音的判斷，直到整個(gè)曲目結(jié)束，結(jié)束后進(jìn)行完成練習(xí)的提示；

所述實(shí)時(shí)提示包括：聲音過(guò)小、音準(zhǔn)準(zhǔn)確、音調(diào)過(guò)高和音調(diào)過(guò)低四種情況。

5.如權(quán)利要求1所述智能音律校對(duì)方法，其特征在于，所述的智能音律校對(duì)方法使像素點(diǎn)矩陣中的元素都滿足R＝G＝B，此時(shí)的顏色變量值稱為灰度值；

灰度化常見(jiàn)的加權(quán)平均公式如下：

1)Gray＝B；Gray＝G；Gray＝R；

2)Gray＝max(B+G+B)；

4)Gray＝0.072169B+0.715160G+0.212671R；

5)Gray＝0.11B+0.59G+0.3R；

式中：R、G、B一分別為紅、綠、藍(lán)三個(gè)分量；Gray—灰度值結(jié)果；

在邊緣檢測(cè)的同時(shí)盡量削弱了噪聲。其模版大小為3X3，其將方向差分運(yùn)算與局部加權(quán)平均相結(jié)合來(lái)提取邊緣。在求取圖像梯度之前，先進(jìn)行加權(quán)平均，然后進(jìn)行未分，經(jīng)過(guò)處理后可以確定其在圖像中的大概位置，提取出完整的二維碼圖像；最后借助多個(gè)矯正圖形和定位圖標(biāo)建立取樣網(wǎng)絡(luò)，將二維碼轉(zhuǎn)化為數(shù)據(jù)矩陣獲取數(shù)據(jù)；

經(jīng)過(guò)FFT變換前后信號(hào)的對(duì)應(yīng)關(guān)系如下：采樣頻率為Fs，信號(hào)頻率F，采樣點(diǎn)數(shù)為N，那么FFT之后結(jié)果就是一個(gè)為N點(diǎn)的復(fù)數(shù)，每一個(gè)點(diǎn)就對(duì)應(yīng)著一個(gè)頻率點(diǎn)；原始信號(hào)的峰值為A，那么FFT的結(jié)果的每個(gè)點(diǎn)的模值就是A的N/2倍。而第一個(gè)點(diǎn)就是直流分量，它的模值就是直流分量的N倍；而每個(gè)點(diǎn)的相位呢，就是在該頻率下的信號(hào)的相位；第一個(gè)點(diǎn)表示直流分量(即0Hz)，而最后一個(gè)點(diǎn)N的再下一個(gè)點(diǎn)則表示采樣頻率Fs，這中間被N-1個(gè)點(diǎn)平均分成N等份，每個(gè)點(diǎn)的頻率依次增加；

某點(diǎn)n所表示的頻率為：Fn＝(n-1)*Fs/N，由公式看出，F(xiàn)n所能分辨到頻率為為Fs/N，如果采樣頻率Fs為1024Hz，采樣點(diǎn)數(shù)為1024點(diǎn)，則分辨到1Hz。1024Hz的采樣率采樣1024點(diǎn)，剛好是1秒，也就是說(shuō)，采樣1秒時(shí)間的信號(hào)并做FFT，則結(jié)果可以分析精確到1Hz，如果采樣2秒時(shí)間的信號(hào)并做FFT，則結(jié)果分析精確到0.5Hz，如果要提高頻率分辨率，則必須增加采樣點(diǎn)數(shù)，也即采樣時(shí)間，頻率分辨率和采樣時(shí)間是倒數(shù)關(guān)系；根據(jù)Nyquist采樣定理，F(xiàn)FT之后的頻譜寬度最大只能是原始信號(hào)采樣率的1/2，如果原始信號(hào)采樣率是4GS/s，那么FFT之后的頻寬最多只能是2GHz；時(shí)域信號(hào)采樣周期的倒數(shù)，即采樣率乘上一個(gè)固定的系數(shù)即是變換之后頻譜的寬度，即Frequency Span＝K*(1/△T)，其中OT為采樣周期，K值取決于在進(jìn)行FFT之前是否對(duì)原始信號(hào)進(jìn)行降采樣(抽點(diǎn))，因?yàn)檫@樣可以降低FFT的運(yùn)算量；

經(jīng)過(guò)FFT變化后，就得到頻譜更寬、特征更清晰、分辨率更精確的音頻。

十二平均律的應(yīng)用與計(jì)算，用頻率f表示科學(xué)音調(diào)記號(hào)法中的A4，則在[f，2f]的區(qū)間內(nèi)可以根據(jù)十二平均律分出十三個(gè)不同的單音，跨五個(gè)小二度的兩個(gè)音，其頻率計(jì)算式為：

式中：f₀-參考音頻率/Hz；f₅-比參考音高五個(gè)小二度單音的頻率/Hz；

音高比對(duì)的計(jì)算，依靠快速傅立葉變換對(duì)音頻進(jìn)行識(shí)別與比對(duì)，wav格式的音頻文件是實(shí)數(shù)，對(duì)采樣得到的數(shù)據(jù)的虛部需要進(jìn)行補(bǔ)零的預(yù)處理；快速傅立葉變換的本質(zhì)就是離散傅立葉變換。離散傅立葉變換的公式為：

式中：x-采樣信號(hào)；N-信號(hào)點(diǎn)數(shù)；X-離散傅立葉變換后的頻域信號(hào)；n-時(shí)域采樣點(diǎn)的序列索引；k-頻域值的索引；

而對(duì)快速傅立葉變換，將含有x(n)(n＝0，1，...，N-1)的系數(shù)部分拆分成奇數(shù)項(xiàng)和偶數(shù)項(xiàng)兩個(gè)向量；

x^[0]＝[x(0)，x(2)，...，x(n-2)]^T；

x^[1]＝[x(1)，x(3)，...，x(n-1)]^T；

它們分別對(duì)應(yīng)兩個(gè)新的多項(xiàng)式X^[0](x)和X^[1](x)因此現(xiàn)在得到以下三個(gè)表達(dá)式：

X(a)＝x₀+x₁a+x₂a²+...+x_n-1a^n-1；

推出：

X(a)＝X^[0](a²)+aX^[1](a²)；

令：帶入上式，又依據(jù)消去引理：

以及折半原理為：

推出：

波形分辨率由原始數(shù)據(jù)采樣的時(shí)間長(zhǎng)度決定：

式中：ΔR_ω-波形分辨率；T-原始數(shù)據(jù)時(shí)間；

而FFT分辨率由采樣頻率和參與FFT的數(shù)據(jù)點(diǎn)數(shù)決定：

式中：ΔR_fft-FFT分辨率；Fs-采樣率；N-數(shù)據(jù)點(diǎn)數(shù)。