[發明專利]一種基于FPGA的神經網絡編曲方法及裝置

在審

• 申請號: 202210052457.1
• 申請日: 2022-01-18
• 公開（公告）號: CN114428761A
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 凌味未;相博鏹;趙良平;胡雙;鄒金成;李蠡
• 申請（專利權）人: 成都信息工程大學
• 主分類號: G06F15/78
• 分類號: G06F15/78;G06N3/063;G10H1/00
• 代理公司: 成都九鼎天元知識產權代理有限公司 51214
• 代理人: 張杰

本發明公開了一種基于FPGA的神經網絡編曲方法及裝置，該裝置包括顯示模塊、控制按鍵模塊、音頻解碼模塊以及帶神經網絡硬件加速器軟核的FPGA模塊，其中FPGA模塊用于實現對各模塊的控制以及人工智能數據運算，其搭載有片上系統，片上系統包括基于指令集的架構的神經網絡硬件加速器、數據調度模塊和存儲器，神經網絡硬件加速器用于根據已搭建的神經網絡模型進行運算，在運算過程中，數據調度模塊將模型權重由存儲器搬移至神經網絡硬件加速器進行運算，得到運算結果后，將推理得到的音符對應的音頻波形數據從存儲器搬移至音頻解碼模塊進行播放。本發明可解決現有的神經網絡編曲方法在算力和可重構性方面的局限。

技術領域

本發明涉及神經網絡硬件加速技術領域，尤其涉及一種基于FPGA的神經網絡編曲方法及裝置。

背景技術

為了提高音樂創作效率和更具新奇感的音樂效果，利用算法自動作曲的方法已經不同程度地應用到計算機輔助編曲體系中，其中遺傳算法、人工神經網絡、馬爾科夫鏈、混合型算法使用最為廣泛。近些年隨著人工智能技術的發展，人工神經網絡已經被廣泛地使用在音樂應用系統中。目前AIVA，Google,以及國內的網易等公司已經能夠在服務器端實現高質量的人工智能音頻處理和音樂創作，而針對邊緣計算端側則考慮到成本、應用場景制約，常常要在算力、功耗、可重構性等方面進行權衡，仍有較大的可提升空間。同時，人工智能編曲模型通常以循環神經網絡為核心，而目前大多神經網絡加速器主要針對卷積神經網絡，對循環神經網絡則缺少針對性的優化。

發明內容

為了解決上述問題，本發明提出一種基于FPGA的神經網絡編曲方法及裝置，可以解決現有的神經網絡編曲方法在算力和可重構性方面的局限，本發明采用的技術方案如下：

一種基于FPGA的神經網絡編曲裝置，包括：

顯示模塊，用于顯示播放狀態信息；

控制按鍵模塊，用于選擇不同的播放模式；

音頻解碼模塊，用于播放經人工智能計算自動生成的音樂；

帶神經網絡硬件加速器軟核的FPGA模塊，用于實現對所述顯示模塊、所述控制按鍵模塊和所述音頻解碼模塊的控制以及人工智能數據運算；所述FPGA模塊搭載片上系統，所述片上系統包括基于指令集的架構的神經網絡硬件加速器、數據調度模塊和存儲器，所述神經網絡硬件加速器用于根據已搭建的神經網絡模型進行運算，在運算過程中，所述數據調度模塊將模型權重由所述存儲器搬移至所述神經網絡硬件加速器進行運算，得到運算結果后，將推理得到的音符對應的音頻波形數據從存儲器搬移至音頻解碼模塊進行播放。

進一步地，所述片上系統使用軟核CPU作為控制器，使用DDR3SDRAM和TF卡作為存儲器，通過音頻CODEC芯片實現音頻解碼，且搭載有通用異步收發傳輸器UART、串行外設接口SPI、I2C、I2S、DDR3SDRAM控制器，并利用AHB總線進行連接。

進一步地，所述片上系統通過UART接口進行與上位機的通信以及打印log信息，通過SPI接口實現TF卡的讀寫，并通過I2C接口和I2S接口對音頻CODEC芯片進行配置和數據傳輸。

進一步地，所述片上系統使用TF卡獲得所述神經網絡模型訓練后得到的數據以及音符對應的音頻波形數據，并在所述片上系統啟動時被DDR3 SDRAM讀取，所述神經網絡模型中不同類型的權重按規則儲存在TF卡和DDR3 SDRAM對應的地址，用戶程序需要根據此地址控制所述神經網絡硬件加速器實現權重的搬移。

進一步地，所述神經網絡硬件加速器能夠通過CPU在總線上寫寄存器的方式接收來自用戶程序的指令，并按照指令進行存儲器讀寫訪問操作、片內專用緩存操作和運算資源模塊操作。

進一步地，所述數據流調度模塊能夠通過CPU在總線上寫寄存器的方式接收來自用戶程序的指令，并按照指令配置片外存儲器與片內模塊和片內緩存間的數據調度。