[發(fā)明專利]音頻生成方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210448723.2
• 申請(qǐng)日: 2022-04-26
• 公開(kāi)（公告）號(hào): CN114827886A
• 公開(kāi)（公告）日: 2022-07-29
• 發(fā)明（設(shè)計(jì)）人: 陳聯(lián)武;鄭羲光;范欣悅;張晨
• 申請(qǐng)（專利權(quán)）人: 北京達(dá)佳互聯(lián)信息技術(shù)有限公司
• 主分類(lèi)號(hào): H04S7/00
• 分類(lèi)號(hào): H04S7/00
• 代理公司: 北京銘碩知識(shí)產(chǎn)權(quán)代理有限公司 11286
• 代理人: 劉超;曾世驍

本公開(kāi)提供一種音頻生成方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。所述音頻生成方法可包括：獲取待處理音頻信號(hào)；通過(guò)對(duì)待處理音頻信號(hào)進(jìn)行音軌分離獲得針對(duì)多個(gè)聲源的多個(gè)音軌信號(hào)；確定在三維空間中的用戶方位信息，并生成與多個(gè)音軌信號(hào)中的每個(gè)音軌信號(hào)對(duì)應(yīng)的三維空間元數(shù)據(jù)；基于用戶方位信息、分離出的多個(gè)音軌信號(hào)和與每個(gè)音軌信號(hào)對(duì)應(yīng)的三維空間元數(shù)據(jù)，生成與待處理音頻信號(hào)對(duì)應(yīng)的三維音頻信號(hào)。本公開(kāi)能夠生成與真正三維音頻更加接近的三維音頻，增加了三維音頻的沉浸感，提高了用戶體驗(yàn)。

技術(shù)領(lǐng)域

本公開(kāi)涉及音頻處理技術(shù)領(lǐng)域，尤其涉及一種音頻生成方法、音頻生成裝置、電子設(shè)備、存儲(chǔ)介質(zhì)以及程序產(chǎn)品。

背景技術(shù)

三維3D音頻是指音頻信號(hào)分布在三維空間中并且動(dòng)態(tài)播放的音頻信號(hào)，例如，隨著音樂(lè)的播放，人聲在三維空間中由遠(yuǎn)及近，鼓聲、貝斯等樂(lè)器在三維空間的不同地方來(lái)回跳動(dòng)。

然而，目前主流的音頻基本上是雙通道立體聲格式或單通道格式，而多通道以及3D格式的音頻內(nèi)容相對(duì)比較匱乏。因此，將傳統(tǒng)的立體聲音頻等自動(dòng)轉(zhuǎn)換為3D音頻，是3D音頻發(fā)展的一個(gè)重要方向。

發(fā)明內(nèi)容

本公開(kāi)提供一種音頻生成方法、音頻生成裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，以至少解決上述提及的問(wèn)題。

根據(jù)本公開(kāi)實(shí)施例的第一方面，提供一種音頻生成方法，所述方法可包括：獲取待處理音頻信號(hào)；通過(guò)對(duì)所述待處理音頻信號(hào)進(jìn)行音軌分離獲得針對(duì)多個(gè)聲源的多個(gè)音軌信號(hào)；確定在三維空間中的用戶方位信息，并生成與所述多個(gè)音軌信號(hào)中的每個(gè)音軌信號(hào)對(duì)應(yīng)的三維空間元數(shù)據(jù)，其中，所述三維空間元數(shù)據(jù)包括對(duì)應(yīng)聲源在三維空間中的方位信息和聲音寬度信息；基于所述用戶方位信息、分離出的所述多個(gè)音軌信號(hào)和與所述每個(gè)音軌信號(hào)對(duì)應(yīng)的所述三維空間元數(shù)據(jù)，生成與所述待處理音頻信號(hào)對(duì)應(yīng)的三維音頻信號(hào)。

作為一種示例，生成與所述多個(gè)音軌信號(hào)中的每個(gè)音軌信號(hào)對(duì)應(yīng)的三維空間元數(shù)據(jù)，可包括：獲取所述待處理音頻信號(hào)的特征信息，其中，所述特征信息包括所述待處理音頻信號(hào)的節(jié)拍信息和結(jié)構(gòu)信息中的至少一個(gè)，其中，所述結(jié)構(gòu)信息包括所述待處理音頻信號(hào)的各音頻片段的類(lèi)型信息；基于所述特征信息分別生成與所述每個(gè)音軌信號(hào)對(duì)應(yīng)的三維空間元數(shù)據(jù)。

作為一種示例，基于所述特征信息分別生成與所述每個(gè)音軌信號(hào)對(duì)應(yīng)的三維空間元數(shù)據(jù)，可包括：針對(duì)所述多個(gè)音軌信號(hào)中的人聲信號(hào)，根據(jù)所述結(jié)構(gòu)信息中的各音頻片段的類(lèi)型，確定所述人聲信號(hào)對(duì)應(yīng)的聲源相對(duì)于三維空間中的所述用戶方位信息的位置調(diào)整信息，基于所述位置調(diào)整信息確定所述人聲信號(hào)的三維空間元數(shù)據(jù)。

作為一種示例，基于所述特征信息分別生成與所述每個(gè)音軌信號(hào)對(duì)應(yīng)的三維空間元數(shù)據(jù)，可包括：針對(duì)所述多個(gè)音軌信號(hào)中的樂(lè)器信號(hào)，根據(jù)所述節(jié)拍信息和所述結(jié)構(gòu)信息中的各音頻片段的類(lèi)型，確定所述樂(lè)器信號(hào)對(duì)應(yīng)的聲源在三維空間中的移動(dòng)信息，基于所述移動(dòng)信息確定所述樂(lè)器信號(hào)的三維空間元數(shù)據(jù)。

作為一種示例，生成與所述多個(gè)音軌信號(hào)中的每個(gè)音軌信號(hào)對(duì)應(yīng)的三維空間元數(shù)據(jù)，可包括：從多個(gè)預(yù)設(shè)模板中確定分別與所述每個(gè)音軌信號(hào)對(duì)應(yīng)的預(yù)設(shè)模板，其中，所述預(yù)設(shè)模板包括對(duì)應(yīng)聲源在三維空間中的移動(dòng)軌跡信息、移動(dòng)速度信息和聲音寬度變化信息中的至少一個(gè)；使用確定的預(yù)設(shè)模板分別生成針對(duì)所述每個(gè)音軌信號(hào)的三維空間元數(shù)據(jù)。

作為一種示例，生成與所述多個(gè)音軌信號(hào)中的每個(gè)音軌信號(hào)對(duì)應(yīng)的三維空間元數(shù)據(jù)，可包括：獲取用戶輸入的設(shè)置信息，其中，所述設(shè)置信息包括與所述多個(gè)音軌信號(hào)對(duì)應(yīng)的各聲源在三維空間中的移動(dòng)軌跡、移動(dòng)速度和聲音寬度變化值中的至少一個(gè)；基于所述設(shè)置信息分別生成針對(duì)所述每個(gè)音軌信號(hào)的三維空間元數(shù)據(jù)。