[發明專利]使用卷積神經網絡架構進行音頻處理的方法和裝置

在審

• 申請號: 202180071332.7
• 申請日: 2021-10-19
• 公開（公告）號: CN116348884A
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 孫俊岱;蘆烈;雙志偉
• 申請（專利權）人: 杜比實驗室特許公司
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/0455
• 代理公司: 北京市漢坤律師事務所 11602
• 代理人: 魏小薇;吳麗麗

1.一種用于音頻處理的卷積神經網絡(CNN)架構，所述CNN架構包括：

·具有第一編碼層的U-net的收縮路徑，其中，所述收縮路徑被配置為基于作為所述收縮路徑的輸入而提供的第一音頻信號來生成所述收縮路徑的輸出表示，

·多尺度CNN，被配置為基于所述收縮路徑的輸出表示生成中間表示，其中，所述多尺度CNN包括至少兩條并行卷積路徑，

·具有第一解碼層的U-net的擴張路徑，其中，所述擴張路徑被配置為基于由所述多尺度CNN生成的所述中間表示生成最終表示，并且輸出第二音頻信號。

2.根據權利要求1所述的CNN架構，其中，所述第一編碼層被配置為執行卷積和下采樣操作。

3.根據權利要求1或2所述的CNN架構，其中，所述第一解碼層被配置為通過以下操作生成輸出：

·接收由所述多尺度CNN生成的所述中間表示，

·接收所述第一編碼層的輸出，

·將所述中間表示與所述第一編碼層的輸出級聯，

·執行卷積操作，以及

·執行上采樣操作。

4.根據前述權利要求中任一項所述的CNN架構，進一步包括第二編碼層，其中，所述第二編碼層被配置為：

·執行卷積，

·執行下采樣操作，以及

·將結果轉發到所述第一編碼層。

5.根據權利要求4所述的CNN架構，進一步包括第二解碼層，其中，所述第二解碼層被配置為：

·接收所述第一解碼層的輸出，

·接收所述第二編碼層的輸出，

·將所述第一解碼層的輸出與所述第二編碼層的輸出級聯，

·執行卷積操作，以及

·執行上采樣操作。

6.根據前述權利要求中任一項所述的CNN架構，其中，所述多尺度CNN被配置為基于所述至少兩條并行卷積路徑的輸出生成聚合輸出。

7.根據權利要求6所述的CNN架構，其中，所述多尺度CNN被配置為通過將所述至少兩條并行卷積路徑的輸出級聯或相加來生成所述聚合輸出。

8.根據權利要求6或7所述的CNN架構，其中，所述多尺度CNN被配置為使用不同的權重對所述至少兩條并行卷積路徑的輸出進行加權。

9.根據前述權利要求中任一項所述的CNN架構，其中，所述多尺度CNN的每條并行卷積路徑包括L個卷積層，其中，L是大于等于1的自然數，并且其中，所述L層中的第l層具有N_l個濾波器，其中l＝1…L。

10.根據權利要求9所述的CNN架構，其中，對于每條并行卷積路徑，所述第l層中濾波器的數量N_l隨著層數l的增加而增加。

11.根據權利要求9所述的CNN架構，其中，所述濾波器的濾波器大小在每條并行卷積路徑中是相同的。

12.根據權利要求9所述的CNN架構，其中，所述濾波器的濾波器大小在不同的并行卷積路徑之間是不同的。

13.根據權利要求9所述的CNN架構，其中，對于給定的并行卷積路徑，所述并行卷積路徑的至少一層的濾波器是膨脹2D卷積濾波器。

14.根據權利要求13所述的CNN架構，其中，所述并行卷積路徑的至少一層的濾波器的膨脹操作僅在頻率軸上執行。

15.根據權利要求13所述的CNN架構，其中，對于給定的并行卷積路徑，所述并行卷積路徑的兩層或更多層的濾波器是膨脹2D卷積濾波器，并且其中，所述膨脹2D卷積濾波器的膨脹因子隨著層數l的增加而指數增加。