[發(fā)明專利]增強(qiáng)虛擬現(xiàn)實(shí)的音頻效果的方法和電子裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201710060577.5
• 申請(qǐng)日: 2017-01-25
• 公開(kāi)（公告）號(hào): CN107027082A
• 公開(kāi)（公告）日: 2017-08-08
• 發(fā)明（設(shè)計(jì)）人: 施信瑋;鄭堯文
• 申請(qǐng)（專利權(quán)）人: 聯(lián)發(fā)科技股份有限公司
• 主分類號(hào): H04R3/00
• 分類號(hào): H04R3/00
• 代理公司: 北京萬(wàn)慧達(dá)知識(shí)產(chǎn)權(quán)代理有限公司11111
• 代理人: 白華勝,王蕊

1.一種增強(qiáng)虛擬現(xiàn)實(shí)的音頻效果的方法，其特征在于，包括：

接收在虛擬現(xiàn)實(shí)環(huán)境中的數(shù)據(jù)，所述數(shù)據(jù)與來(lái)自一個(gè)或多個(gè)聲源的音頻樣本、所述一個(gè)或多個(gè)聲源的運(yùn)動(dòng)、以及用戶的運(yùn)動(dòng)相關(guān)；

基于接收的所述數(shù)據(jù)執(zhí)行用于實(shí)現(xiàn)一個(gè)或多個(gè)音頻效果的物理模擬；

使用所述物理模擬的結(jié)果來(lái)執(zhí)行信號(hào)處理；以及

使用所述信號(hào)處理的結(jié)果來(lái)生成音頻輸出。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述執(zhí)行用于實(shí)現(xiàn)一個(gè)或多個(gè)音頻效果的物理模擬的步驟包括：

生成所述音頻樣本的樣本波前；

擴(kuò)展所述樣本波前；以及

基于在所述虛擬現(xiàn)實(shí)環(huán)境中在所述用戶附近觀察到的所述樣本波前中的相應(yīng)的一個(gè)，來(lái)確定所述音頻樣本的每個(gè)的頻率偏移類型和偏移程度。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述執(zhí)行用于實(shí)現(xiàn)一個(gè)或多個(gè)音頻效果的物理模擬的步驟還包括：

模擬關(guān)于來(lái)自所述一個(gè)或多個(gè)聲源的所述音頻樣本的聲音的傳輸時(shí)間。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述執(zhí)行信號(hào)處理的步驟包括：

對(duì)于所述一個(gè)或多個(gè)聲源的每個(gè)聲源，執(zhí)行以下操作：根據(jù)相應(yīng)的所述頻率偏移類型和相應(yīng)的所述偏移程度對(duì)所述音頻樣本的每個(gè)進(jìn)行重采樣，以提供重采樣的音頻樣本；以及通過(guò)對(duì)所述一個(gè)或多個(gè)音頻效果進(jìn)行濾波來(lái)對(duì)所述重采樣的音頻樣本執(zhí)行樣本渲染，以提供最終樣本；以及

混合來(lái)自所述一個(gè)或多個(gè)聲源的所述最終樣本以生成所述音頻輸出。

5.根據(jù)權(quán)利要求4所述的方法，其中所述樣本波前中的每一個(gè)表示所述音頻樣本的相應(yīng)的樣本集合，且對(duì)所述音頻樣本的每一個(gè)的所述重采樣包括重采樣所述音頻樣本的多個(gè)樣本集合。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，

所述執(zhí)行用于實(shí)現(xiàn)一個(gè)或多個(gè)音頻效果的物理模擬的步驟包括：模擬與在所述虛擬現(xiàn)實(shí)環(huán)境中所述用戶經(jīng)歷的多普勒效應(yīng)有關(guān)的物理學(xué)，以獲得關(guān)于所述音頻樣本的每個(gè)的頻率偏移類型和偏移程度的信息；以及

所述執(zhí)行信號(hào)處理的步驟包括：通過(guò)根據(jù)所述音頻樣本的每個(gè)的相應(yīng)的所述頻率偏移類型和相應(yīng)的所述偏移程度，來(lái)對(duì)所述音頻樣本進(jìn)行重采樣，以修正所述音頻樣本。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述頻率偏移類型包括向上偏移或向下偏移，其中所述向上偏移是由于在所述虛擬現(xiàn)實(shí)環(huán)境中所述用戶與所述一個(gè)或多個(gè)聲源中的至少一個(gè)之間的距離減小，并且所述向下偏移是由于在所述虛擬現(xiàn)實(shí)環(huán)境中所述用戶和所述一個(gè)或多個(gè)聲源中的所述至少一個(gè)之間的所述距離增加。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述執(zhí)行用于實(shí)現(xiàn)一個(gè)或多個(gè)音頻效果的物理模擬的步驟包括：模擬所述一個(gè)或多個(gè)聲源的一個(gè)或多個(gè)行為和所述用戶的一個(gè)或多個(gè)行為沿時(shí)間軸隨著時(shí)間的改變。

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述模擬所述一個(gè)或多個(gè)聲源的一個(gè)或多個(gè)行為和所述用戶的一個(gè)或多個(gè)行為沿時(shí)間軸隨著時(shí)間的改變的步驟包括：

執(zhí)行多個(gè)任務(wù)以實(shí)現(xiàn)在所述虛擬現(xiàn)實(shí)環(huán)境中所述用戶經(jīng)歷的多普勒效應(yīng)，所述多個(gè)任務(wù)包括：

生成所述音頻樣本的樣本波前；

擴(kuò)展所述樣本波前；

基于在所述虛擬現(xiàn)實(shí)環(huán)境中在所述用戶附近觀察到的所述樣本波前中的相應(yīng)的一個(gè)，來(lái)確定所述音頻樣本的每個(gè)的頻率偏移類型和偏移程度；

對(duì)于所述一個(gè)或多個(gè)聲源的每個(gè)聲源，執(zhí)行包括以下的操作：根據(jù)相應(yīng)的所述頻率偏移類型和相應(yīng)的所述偏移程度對(duì)所述音頻樣本的每個(gè)進(jìn)行重采樣，以提供重采樣的音頻樣本；以及通過(guò)對(duì)所述一個(gè)或多個(gè)音頻效果進(jìn)行濾波來(lái)對(duì)所述重采樣的音頻樣本執(zhí)行樣本渲染，以提供最終樣本；以及

混合來(lái)自所述一個(gè)或多個(gè)聲源的所述最終樣本以生成所述音頻輸出；

其中，調(diào)度器基于來(lái)自定時(shí)器的時(shí)間信息來(lái)確定用于執(zhí)行每個(gè)所述任務(wù)的時(shí)機(jī)并觸發(fā)執(zhí)行。

10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述執(zhí)行多個(gè)任務(wù)以實(shí)現(xiàn)在所述虛擬現(xiàn)實(shí)環(huán)境中所述用戶經(jīng)歷的多普勒效應(yīng)的步驟包括：

將用于所述任務(wù)的每個(gè)的流程劃分成相應(yīng)的多個(gè)子流程，使得每個(gè)所述子流程對(duì)應(yīng)于沿著所述時(shí)間軸的多個(gè)時(shí)間段中的相應(yīng)時(shí)間段；以及

根據(jù)在所述相應(yīng)時(shí)間段期間所述一個(gè)或多個(gè)聲源的運(yùn)動(dòng)和所述用戶的運(yùn)動(dòng)，來(lái)調(diào)整所述子流程的每個(gè)。