[發明專利]基于音源生成技術的多元繪畫可聽化智能樂器生成方法

在審

• 申請號: 202310076105.4
• 申請日: 2023-02-07
• 公開（公告）號: CN116092460A
• 公開（公告）日: 2023-05-09
• 發明（設計）人: 李路陽;李奧菲;劉銳昕
• 申請（專利權）人: 李路陽;李奧菲;劉銳昕
• 主分類號: G10H7/00
• 分類號: G10H7/00;G10H1/00
• 代理公司: 威海匯英橋知識產權代理事務所(特殊普通合伙) 37320
• 代理人: 于保妹

本發明具體涉及基于音源生成技術的多元繪畫可聽化智能樂器生成方法，采用特征頻率分析合成方法進行仿真分析，通過編寫的comsol腳本將三維樂器幾何模型導入，構建求解的線性方程組進行矩陣的迭代求解，獲得指定精度下的物體的特征頻率和衰減阻尼，同時給定描述幾何模型每個模態下剛體受到外力時，表面產生形變所獲得的加速度的不同程度的參與因子，即可得到該物體的頻率的估計分布，從而得到物體的音色；通過對用戶的涂鴉進行建模，再用物理模擬使模型可聽，用戶畫出聲音，自由創作出獨特的音色，從而支持不同材質、多維組合的物理仿真發聲。

技術領域

本發明專利涉及計算及仿真模擬的技術領域，具體而言，涉及基于音源生成技術的多元繪畫可聽化智能樂器生成方法。

背景技術

公開號為CN115223524A的一中國專利公開了一種基于互聯網的智能樂器合奏方法，包括以下步驟，接收由終端發出的創建合奏或加入合奏的指令；接收由其他終端發出的加入合奏或接受合奏的指令；將合奏的創建者以及所有加入者編為一個群組；接收所述群組中每一個終端的模擬樂器類別；接收所述群組中每一個終端實時發出的演奏信號；將所述群組中的所有終端的模擬樂器類別以及實時的演奏信號發送到所述群組中的所有終端；本發明還公開了一種基于互聯網的智能樂器合奏系統，包括服務器以及終端，所述終端包括：輸入模塊，處理器；通信模塊，揚聲器和/或音源輸出接口，本發明可以使多個模擬樂器的終端通過互聯網實現遠程合奏，解決了傳統樂器對合奏使用環境限制的問題。

但是音樂的不可見性帶來了音樂啟蒙的困難，上述現有技術并不能進行仿真的精確地描述物體的發聲及其發聲過程，因此，因此我們使用物理模型進行仿真可以精確地描述物體的發聲及其發聲過程，精確地再現樂器的基波、諧波、非諧波、ASDR，甚至可以達到像真實樂器一樣的演奏效果。

發明內容

本發明的目的在于提供基于音源生成技術的多元繪畫可聽化智能樂器生成方法，通過對用戶的涂鴉進行建模，再用物理模擬使模型可聽，用戶畫出聲音，自由創作出獨特的音色，從而支持不同材質、多維組合的物理仿真發聲。

本發明是這樣實現的，基于音源生成技術的多元繪畫可聽化智能樂器生成方法，采用特征頻率分析合成方法進行仿真分析，通過編寫的comsol腳本將三維樂器幾何模型導入，構建求解的線性方程組進行矩陣的迭代求解，獲得指定精度下的物體的特征頻率和衰減阻尼，同時給定描述幾何模型每個模態下剛體受到外力時，表面產生形變所獲得的加速度的不同程度的參與因子，即可得到該物體的頻率的估計分布，從而得到物體的音色。

進一步，特征頻率仿真分析包括以下步驟：

S1，用戶進行樂器涂鴉，根據用戶的涂鴉繪制3D格式樂器的三維樂器的幾何模型，并且選擇樂器的材質后，設置幾何模型的材料參數，上傳到服務器端；

S2，利用comsol編寫的Java腳本進行特征頻率的生成，最終按照響度和頻段的阻尼生成對應的wav音源文件；

S3，對于用戶輸入的Obj格式的幾何模型文件和樂器的材料參數，生成對應的音色文件，包括打擊樂器和弦樂器；

S4，對于生成SoundFont聲音字體的過程：soundfont聲音字體文件由一一對應的wav文件解析生成，用戶輸入的Obj文件經過物理模擬產生對應的wav之后，使用SoundFont生成器進行Soundfont文件的生成，通過這樣將音樂符號保存在該文件中，從而用于前端調用生成midi，任意的wav格式的文件都能解析出采樣數組，從而生成對應的Soundfont音樂字體文件；

S5，用于通過后臺發送的Obj格式的幾何模型文件，需要完成STL幾何模型文件的轉換，用于COMSOL腳本的后續處理。

進一步，針對步驟S5中處理好的STL文件，進一步進行網格的切分和稀疏化，降低網格數量，將運算時間控制在10秒左右。