[發明專利]使用立體混響信號的音頻信號處理方法和裝置

有效

• 申請號: 201880052564.6
• 申請日: 2018-08-13
• 公開（公告）號: CN111034225B
• 公開（公告）日: 2021-09-24
• 發明（設計）人: 徐正勛;田相培
• 申請（專利權）人: 高迪奧實驗室公司
• 主分類號: H04S7/00
• 分類號: H04S7/00;H04S1/00
• 代理公司: 北京京原星洲知識產權代理事務所(普通合伙) 11747
• 代理人: 緱正煜;雷小林

公開一種用于渲染輸入音頻信號的音頻信號處理裝置。音頻信號處理裝置可以包括處理器，該處理器被配置成獲得包括立體混響信號和非劇情聲道差分信號的輸入音頻信號，渲染立體混響信號以生成第一輸出音頻信號，將第一輸出音頻信號與非劇情聲道差分信號混合以生成第二輸出音頻信號，并且輸出第二輸出音頻信號。

技術領域

本公開涉及一種音頻信號處理方法和裝置，并且更具體地，涉及一種為包括頭戴式顯示器(HMD)設備的便攜式設備提供沉浸式聲音的音頻信號處理方法和裝置。

背景技術

為了在頭戴式顯示器(HMD)設備中提供沉浸式和交互式音頻，本質上需要雙耳渲染技術。用于再現與虛擬現實(VR)相對應的空間聲音的技術是增加虛擬現實的真實性并允許VR設備用戶感覺完全浸入其中的重要因素。被渲染以在虛擬現實中再現空間聲音的音頻信號可以被劃分為劇情音頻信號和非劇情音頻信號。在此，劇情音頻信號可以是使用頭部方向和用戶位置的信息交互地呈現的音頻信號。另外，非劇情音頻信號可以是方向性不重要或者根據聲音質量的聲音效果比聲音的定位更重要的音頻信號。

同時，在受計算量和功耗的限制的移動設備中，由于經受渲染的對象或聲道的增加，可能出現計算量和功耗的負擔。另外，當前多媒體服務市場中提供的大多數用戶設備和回放軟件所支持的可解碼音頻格式的編碼流的數量可能會受到限制。在這種情況下，用戶設備可以接收與非劇情音頻信號分離的非劇情音頻信號，并將其提供給用戶?？商孢x地，用戶設備可以提供其中向用戶省略非劇情音頻信號的多媒體服務。因此，需要用于改善處理劇情音頻信號和非劇情音頻信號的效率的技術。

發明內容

技術問題

本公開的實施例有效地發送具有再現真實空間聲音所需的各種特性的音頻信號。另外，本公開的實施例將通過包括在編碼流的數量中受限制的音頻格式來發送包括非劇情音頻信號的音頻信號作為用于再現劇情效應和非劇情效應的音頻信號。

技術解決方案

根據本公開的實施例的用于生成輸出音頻信號的音頻信號處理裝置可以包括處理器，該處理器被配置成獲得包括第一立體混響信號和非劇情聲道信號的輸入音頻信號，基于非劇情性聲道信號生成僅包括與在第一立體混響信號的立體混響格式中包括的多個信號分量當中的預定信號分量相對應的信號的第二立體混響信號，并且生成包括通過合成用于每個信號分量的第二立體混響信號和第一立體混響信號獲得的第三立體混響信號的輸出音頻信號。在這種情況下，非劇情聲道信號可以表示形成相對于聽眾固定的音頻場景的音頻信號。

此外，預定信號分量可以是表示在已經收集立體混響信號的點處的聲場的聲壓的信號分量。

處理器可以被配置成利用第一濾波器對非劇情聲道信號進行濾波以生成第二立體混響信號。在這種情況下，第一濾波器可以是第二濾波器的逆濾波器，該第二濾波器用于將第三立體混響信號雙耳渲染為在已經接收到第三立體混響信號的輸出設備中的輸出音頻信號。

處理器可以被配置成獲得關于在其中模擬輸出音頻信號的虛擬空間中布置的多個虛擬聲道的信息，并基于多個虛擬聲道的信息來生成第一濾波器。在這種情況下，多個虛擬聲道的信息可以是用于渲染第三立體混響信號的多個虛擬聲道。

多個虛擬聲道的信息可以包括表示多個虛擬聲道中的每個虛擬聲道的位置的位置信息。在這種情況下，處理器可以被配置成基于位置信息獲得與多個虛擬聲道中的每個虛擬聲道的位置相對應的多個雙耳濾波器，并且基于多個雙耳濾波器生成第一濾波器。

處理器可以被配置成基于在多個雙耳濾波器中包括的濾波器系數的總和來生成第一濾波器。

處理器可以被配置成基于濾波器系數的總和與多個虛擬聲道的數量的逆運算結果來生成第一濾波器。