[發(fā)明專利]音頻數(shù)據(jù)處理方法及裝置、計(jì)算設(shè)備

有效

• 申請?zhí)枺?/td>: 201711407629.8
• 申請日: 2017-12-22
• 公開（公告）號: CN108010538B
• 公開（公告）日: 2021-08-24
• 發(fā)明（設(shè)計(jì)）人: 董健;韓玉剛;顏水成
• 申請（專利權(quán)）人: 北京奇虎科技有限公司
• 主分類號: G10L21/10
• 分類號: G10L21/10;G10L25/30;G06N3/08;G06N3/04
• 代理公司: 深圳市世紀(jì)恒程知識產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 胡海國

1.一種音頻數(shù)據(jù)處理方法，其包括：

將音頻數(shù)據(jù)轉(zhuǎn)化為動態(tài)圖像數(shù)據(jù)；其中，所述動態(tài)圖像數(shù)據(jù)由多幀語譜圖組成；

對所述動態(tài)圖像數(shù)據(jù)所包含的多幀語譜圖進(jìn)行分組處理；

獲取分組處理后所述動態(tài)圖像數(shù)據(jù)中的一幀語譜圖；

判斷所述幀語譜圖是否為任一分組的第1幀語譜圖；

若是，則將所述幀語譜圖輸入至經(jīng)訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)中，經(jīng)過該神經(jīng)網(wǎng)絡(luò)全部卷積層和反卷積層的運(yùn)算后，得到處理后的幀語譜圖；

若否，則將所述幀語譜圖輸入至經(jīng)訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)中，在運(yùn)算至所述神經(jīng)網(wǎng)絡(luò)的第i層卷積層得到第i層卷積層的運(yùn)算結(jié)果后，獲取所述幀語譜圖所屬分組的第1幀語譜圖輸入至所述神經(jīng)網(wǎng)絡(luò)中得到的第j層反卷積層的運(yùn)算結(jié)果，直接將所述第i層卷積層的運(yùn)算結(jié)果與所述第j層反卷積層的運(yùn)算結(jié)果進(jìn)行圖像融合，得到處理后的幀語譜圖；其中，i和j為自然數(shù)；

重復(fù)執(zhí)行上述步驟直至完成對動態(tài)圖像數(shù)據(jù)中所有幀語譜圖的處理；

將所述處理后的動態(tài)圖像數(shù)據(jù)轉(zhuǎn)化為音頻數(shù)據(jù)；

第i層卷積層的運(yùn)算結(jié)果與第j層反卷積層的運(yùn)算結(jié)果的輸出維度相同。

2.根據(jù)權(quán)利要求1所述的方法，其中，在判斷出所述幀語譜圖不是任一分組的第1幀語譜圖之后，所述方法還包括：

計(jì)算所述幀語譜圖與其所屬分組的第1幀語譜圖的幀間距；

根據(jù)所述幀間距，確定i和j的取值；其中，所述第i層卷積層與最后一層卷積層之間的層距與所述幀間距成反比關(guān)系，所述第j層反卷積層與輸出層之間的層距與所述幀間距成正比關(guān)系。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述方法還包括：預(yù)先設(shè)置幀間距與所述i和j的取值的對應(yīng)關(guān)系。

4.根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的方法，其中，在所述直接將所述第i層卷積層的運(yùn)算結(jié)果與所述第j層反卷積層的運(yùn)算結(jié)果進(jìn)行圖像融合之后，所述方法還包括：

若所述第j層反卷積層是所述神經(jīng)網(wǎng)絡(luò)的最后一層反卷積層，則將圖像融合結(jié)果輸入到輸出層，以得到處理后的幀語譜圖；

若所述第j層反卷積層不是所述神經(jīng)網(wǎng)絡(luò)的最后一層反卷積層，則將圖像融合結(jié)果輸入到第j+1層反卷積層，經(jīng)過后續(xù)反卷積層和輸出層的運(yùn)算，以得到處理后的幀語譜圖。

5.根據(jù)權(quán)利要求1所述的方法，其中，所述將幀語譜圖輸入至經(jīng)訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)中，經(jīng)過該神經(jīng)網(wǎng)絡(luò)全部卷積層和反卷積層的運(yùn)算后，得到處理后的幀語譜圖進(jìn)一步包括：在經(jīng)過該神經(jīng)網(wǎng)絡(luò)的最后一層卷積層之前的每一層卷積層運(yùn)算后，對每一層卷積層的運(yùn)算結(jié)果進(jìn)行下采樣處理。

6.根據(jù)權(quán)利要求1所述的方法，其中，在運(yùn)算至所述神經(jīng)網(wǎng)絡(luò)的第i層卷積層得到第i層卷積層的運(yùn)算結(jié)果之前，所述方法還包括：在經(jīng)過該神經(jīng)網(wǎng)絡(luò)的第i層卷積層之前的每一層卷積層運(yùn)算后，對每一層卷積層的運(yùn)算結(jié)果進(jìn)行下采樣處理。

7.根據(jù)權(quán)利要求1所述的方法，其中，所述動態(tài)圖像數(shù)據(jù)每組包含n幀幀語譜圖；其中，n為固定預(yù)設(shè)值。

8.根據(jù)權(quán)利要求1所述的方法，其中，所述對所述動態(tài)圖像數(shù)據(jù)所包含的多幀語譜圖進(jìn)行分組處理進(jìn)一步包括：

對用戶指定區(qū)間段的動態(tài)圖像數(shù)據(jù)所包含的多幀語譜圖進(jìn)行分組處理。