[發(fā)明專利]基于音源生成技術(shù)的多元繪畫可聽化智能樂器生成方法

在審

• 申請?zhí)枺?/td>: 202310076105.4
• 申請日: 2023-02-07
• 公開（公告）號: CN116092460A
• 公開（公告）日: 2023-05-09
• 發(fā)明（設(shè)計）人: 李路陽;李奧菲;劉銳昕
• 申請（專利權(quán)）人: 李路陽;李奧菲;劉銳昕
• 主分類號: G10H7/00
• 分類號: G10H7/00;G10H1/00
• 代理公司: 威海匯英橋知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 37320
• 代理人: 于保妹

1.基于音源生成技術(shù)的多元繪畫可聽化智能樂器生成方法，其特征在于，采用特征頻率分析合成方法進行仿真分析，通過編寫的comsol腳本將三維樂器幾何模型導(dǎo)入，構(gòu)建求解的線性方程組進行矩陣的迭代求解，獲得指定精度下的物體的特征頻率和衰減阻尼，同時給定描述幾何模型每個模態(tài)下剛體受到外力時，表面產(chǎn)生形變所獲得的加速度的不同程度的參與因子，即可得到該物體的頻率的估計分布，從而得到物體的音色。

2.根據(jù)權(quán)利要求1所述的基于音源生成技術(shù)的多元繪畫可聽化智能樂器生成方法，其特征在于，特征頻率仿真分析包括以下步驟：

S1，用戶進行樂器涂鴉，根據(jù)用戶的涂鴉繪制3D格式樂器的三維樂器的幾何模型，并且選擇樂器的材質(zhì)后，設(shè)置幾何模型的材料參數(shù)，上傳到服務(wù)器端；

S2，利用comsol編寫的Java腳本進行特征頻率的生成，最終按照響度和頻段的阻尼生成對應(yīng)的wav音源文件；

S3，對于用戶輸入的Obj格式的幾何模型文件和樂器的材料參數(shù)，生成對應(yīng)的音色文件，包括打擊樂器和弦樂器；

S4，對于生成SoundFont聲音字體的過程：soundfont聲音字體文件由一一對應(yīng)的wav文件解析生成，用戶輸入的Obj文件經(jīng)過物理模擬產(chǎn)生對應(yīng)的wav之后，使用SoundFont生成器進行Soundfont文件的生成，通過這樣將音樂符號保存在該文件中，從而用于前端調(diào)用生成midi，任意的wav格式的文件都能解析出采樣數(shù)組，從而生成對應(yīng)的Soundfont音樂字體文件；

S5，用于通過后臺發(fā)送的Obj格式的幾何模型文件，需要完成STL幾何模型文件的轉(zhuǎn)換，用于COMSOL腳本的后續(xù)處理。

3.根據(jù)權(quán)利要求2所述的基于音源生成技術(shù)的多元繪畫可聽化智能樂器生成方法，其特征在于，針對步驟S5中處理好的STL文件，進一步進行網(wǎng)格的切分和稀疏化，降低網(wǎng)格數(shù)量，將運算時間控制在10秒左右。

4.根據(jù)權(quán)利要求3所述的基于音源生成技術(shù)的多元繪畫可聽化智能樂器生成方法，其特征在于，在構(gòu)建求解的線性方程組進行矩陣的迭代求解，獲得指定精度下的物體的特征頻率和衰減阻尼時，設(shè)定誤差精度為1e-3,使用非對稱特征值求解器對方程進行求解，經(jīng)過矩陣進行多次迭代運算，直到達到誤差精度以下后得到特征頻率。

5.根據(jù)權(quán)利要求4所述的基于音源生成技術(shù)的多元繪畫可聽化智能樂器生成方法，其特征在于，對于輸出的音色的處理，增加手勢姿態(tài)檢測、速度檢測生成樂器觸發(fā)源模型，再將發(fā)聲元件+觸發(fā)源二者結(jié)合作為參數(shù)輸入特征頻率音源模型，計算生成音色。

6.根據(jù)權(quán)利要求5所述的基于音源生成技術(shù)的多元繪畫可聽化智能樂器生成方法，其特征在于，對于音高的處理，將特征頻率分析合成輸出的音色，進行絕對音高檢測，分離基音和泛音，根據(jù)標(biāo)準(zhǔn)音高進行頻率變換，生成該音源不同音高的音階套組。

7.根據(jù)權(quán)利要求6所述的基于音源生成技術(shù)的多元繪畫可聽化智能樂器生成方法，其特征在于，對于響度的處理，利用深度相機對手勢速度進行測算，將速度作為響度函數(shù)的輸入?yún)?shù)，變換輸出。