[發明專利]基于卷積神經網絡的單通道聲音分離方法

有效

• 申請號: 201710821803.7
• 申請日: 2017-09-13
• 公開（公告）號: CN107680611B
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 段惠萍;梁瀚明;張新月;方俊
• 申請（專利權）人: 電子科技大學
• 主分類號: G10L21/0272
• 分類號: G10L21/0272;G10L25/30;G06N3/08;G06N3/04
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 周劉英

1.基于卷積神經網絡的單通道聲音分離方法，其特征在于，包括下列步驟：

步驟1、構建訓練數據：

101：對每一原始聲音信號進行短時傅里葉變換得到原始聲音信號時頻圖S(t,f)；

102：對原始聲音信號進行混合得到混合聲音信號，并對混合聲音信號進行短時傅里葉變換得到混合聲音信號時頻圖Y(t,f)；

103：由原始聲音信號時頻圖和混合聲音信號時頻圖構建理想二值掩膜：

步驟2、訓練卷積神經網絡模型：

201：構建用于單聲道聲音分離的卷積神經網絡模型，所述卷積神經網絡模型從輸入層INPUT開始，依次經過卷積層CONV1_1，卷積層CONV1_2，池化層POOL1，卷積層CONV2_1，卷積層CONV2_2，池化層POOL2，卷積層CONV3_1，卷積層CONV3_2，池化層POOL3，卷積層CONV4_1，卷積層CONV4_2，上采樣層UP5、融合層CONCAT5、卷積層CONV5_1、卷積層CONV5_2、上采樣層UP6、融合層CONCAT6、卷積層CONV6_1、卷積層CONV6_2、上采樣層UP7、融合層CONCAT7、卷積層CONV7_1、卷積層CONV7_2和卷積層CONV_8，且融合層CONCAT5將上采樣層UP5的輸出與卷積層CONV3_2的輸出進行特征圖疊加，融合層CONCAT6將上采樣層UP6的輸出與卷積層CONV2_2的輸出進行特征圖疊加，融合層CONCAT7將上采樣層UP7的輸出與卷積層CONV1_2的輸出進行特征圖疊加；

其中，輸入層的大小為1024×8×1；

除卷積層CONV_8外，所有卷積層的卷積核尺寸和卷積方式相同：卷積核大小為5×3，卷積核的個數為32，滑動步長為1，邊緣填充為1；卷積層CONV_8的卷積核大小為1×1，卷積核的個數為1，滑動步長為1，邊緣填充為0；

池化層POOL1和POOL2的池化方式和池化核尺寸相同：池化核大小為4×2，最大值池化，滑動步長為4×2，邊緣填充為0；池化層POOL3為：最大值池化，池化核大小為2×1，滑動步長為2×1，邊緣填充為0；

上采樣層UP5～UP7的采樣方式均為最近鄰上采樣，其中上采樣層UP6和UP7的上采樣因子均為4×2，上采樣層UP5的上采樣因子為2×1；

202：設置訓練參數；所述訓練參數包括模型學習優化方式、學習率及最大迭代次數；

203：將混合聲音信號時頻圖Y(t,f)幅度輸入卷積神經網絡模型，前向傳播計算交叉墑損失；

204：將交叉墑損失反向傳播更新神經元權重，其中神經元權重的初始值為預設值；

205：重復步驟203和204，直至模型收斂，得到訓練好的卷積神經網絡模型；

步驟3、使用訓練好的卷積神經網絡模型進行聲音分離處理：

301：對待分離的混合聲音信號進行短時傅里葉變換得到待分離的混合聲音信號時頻圖；

302：將待分離的混合聲音信號時頻圖幅度輸入訓練好的卷積神經網絡模型，輸出估計時頻掩膜；

303：使用估計時頻掩膜和待分離的混合聲音信號時頻圖合成估計的原始聲音信號時頻圖；

304：對估計的原始聲音信號時頻圖進行逆短時傅里葉變換得到估計的原始聲音信號。

2.如權利要求1所述的方法，其特征在于，模型學習優化方式采用Adam優化，初始學習率設置為0.001，若交叉驗證集分數在5次迭代內不下降，則學習率下降為0.1倍，最大迭代次數設置為100。

3.如權利要求1所述的方法，其特征在于，模型收斂的條件為達到最大迭代次數或損失收斂，其中，認定損失收斂的條件為交叉驗證集分數在10個epoch內沒有下降，epoch表示使用訓練集中的全部訓練樣本訓練1次。