[發明專利]一種基于FPGA的神經網絡編曲方法及裝置

在審

• 申請號: 202210052457.1
• 申請日: 2022-01-18
• 公開（公告）號: CN114428761A
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 凌味未;相博鏹;趙良平;胡雙;鄒金成;李蠡
• 申請（專利權）人: 成都信息工程大學
• 主分類號: G06F15/78
• 分類號: G06F15/78;G06N3/063;G10H1/00
• 代理公司: 成都九鼎天元知識產權代理有限公司 51214
• 代理人: 張杰

1.一種基于FPGA的神經網絡編曲裝置，其特征在于，包括：

顯示模塊，用于顯示播放狀態信息；

控制按鍵模塊，用于選擇不同的播放模式；

音頻解碼模塊，用于播放經人工智能計算自動生成的音樂；

帶神經網絡硬件加速器軟核的FPGA模塊，用于實現對所述顯示模塊、所述控制按鍵模塊和所述音頻解碼模塊的控制以及人工智能數據運算；所述FPGA模塊搭載片上系統，所述片上系統包括基于指令集的架構的神經網絡硬件加速器、數據調度模塊和存儲器，所述神經網絡硬件加速器用于根據已搭建的神經網絡模型進行運算，在運算過程中，所述數據調度模塊將模型權重由所述存儲器搬移至所述神經網絡硬件加速器進行運算，得到運算結果后，將推理得到的音符對應的音頻波形數據從存儲器搬移至音頻解碼模塊進行播放。

2.根據權利要求1所述的基于FPGA的神經網絡編曲裝置，其特征在于，所述片上系統使用軟核CPU作為控制器，使用DDR3SDRAM和TF卡作為存儲器，通過音頻CODEC芯片實現音頻解碼，且搭載有通用異步收發傳輸器UART、串行外設接口SPI、I2C、I2S、DDR3SDRAM控制器，并利用AHB總線進行連接。

3.根據權利要求2所述的基于FPGA的神經網絡編曲裝置，其特征在于，所述片上系統通過UART接口進行與上位機的通信以及打印log信息，通過SPI接口實現TF卡的讀寫，并通過I2C接口和I2S接口對音頻CODEC芯片進行配置和數據傳輸。

4.根據權利要求2所述的基于FPGA的神經網絡編曲裝置，其特征在于，所述片上系統使用TF卡獲得所述神經網絡模型訓練后得到的數據以及音符對應的音頻波形數據，并在所述片上系統啟動時被DDR3 SDRAM讀取，所述神經網絡模型中不同類型的權重按規則儲存在TF卡和DDR3 SDRAM對應的地址，用戶程序需要根據此地址控制所述神經網絡硬件加速器實現權重的搬移。

5.根據權利要求2所述的基于FPGA的神經網絡編曲裝置，其特征在于，所述神經網絡硬件加速器能夠通過CPU在總線上寫寄存器的方式接收來自用戶程序的指令，并按照指令進行存儲器讀寫訪問操作、片內專用緩存操作和運算資源模塊操作。

6.根據權利要求2所述的基于FPGA的神經網絡編曲裝置，其特征在于，所述數據流調度模塊能夠通過CPU在總線上寫寄存器的方式接收來自用戶程序的指令，并按照指令配置片外存儲器與片內模塊和片內緩存間的數據調度。

7.根據權利要求2所述的基于FPGA的神經網絡編曲裝置，其特征在于，所述神經網絡硬件加速器以多路并行乘法器為運算核心，多個分布式緩沖器暫存運算中間數據；使用分段函數擬合，以及利用sigmoid和tanh中心對稱的特性對激活函數進行硬件實現。

8.根據權利要求2所述的基于FPGA的神經網絡編曲裝置，其特征在于，所述神經網絡硬件加速器使用線性反饋移位寄存器LFSR生成偽隨機數，使用多個區間的查找表的方式實現指數運算，并協同對SOFTMAX進行硬件實現。

9.根據權利要求1所述的基于FPGA的神經網絡編曲裝置，其特征在于，所述神經網絡模型的搭建方法包括：通過軟件編程的方式配置詞嵌入模型對音符編碼，使用三層GRU、一層全連接層以及SOFTMAX進行搭建。

10.一種基于FPGA的神經網絡編曲方法，應用于權利要求1-9任一項所述的基于FPGA的神經網絡編曲裝置，其特征在于，包括以下步驟：

S1.所述神經網絡硬件加速器根據已搭建的神經網絡模型進行運算，在運算過程中，所述數據調度模塊將模型權重由所述存儲器搬移至所述神經網絡硬件加速器進行運算；

S2.得到運算結果后，所述數據調度模塊將推理得到的音符對應的音頻波形數據從存儲器搬移至音頻解碼模塊進行播放。