[發明專利]全景視頻的音頻處理方法及裝置

在審

• 申請號: 202211535904.5
• 申請日: 2022-12-02
• 公開（公告）號: CN115866326A
• 公開（公告）日: 2023-03-28
• 發明（設計）人: 朱俊煒;聶大森
• 申請（專利權）人: 上海嗶哩嗶哩科技有限公司
• 主分類號: H04N21/439
• 分類號: H04N21/439;H04N21/43;H04N21/81;H04N21/442;H04N21/6587;H04S7/00
• 代理公司: 北京市浩天知識產權代理事務所(普通合伙) 11276
• 代理人: 梁倩

1.一種全景視頻的音頻處理方法，包括：

獲取包含有全景視頻數據和多聲道音頻數據的全景音視頻文件；

對所述全景視頻數據和所述多聲道音頻數據進行全景映射處理，而后對所述全景視頻數據和所述多聲道音頻數據進行播放；

當在播放過程中所述全景視頻數據對應的中心觀看對象的位置數據發生變更時，將所述中心觀看對象變更后的位置數據應用至所述多聲道音頻數據對應的中心聆聽對象上，以同步改變視頻播放效果和音頻播放效果。

2.根據權利要求1所述的方法，其中，所述獲取包含有全景視頻數據和多聲道音頻數據的全景音視頻文件進一步包括：

響應于用戶發送的全景音視頻數據獲取請求，從服務端中拉取由生產端上傳的所述全景音視頻文件。

3.根據權利要求1所述的方法，其中，所述對所述全景視頻數據和所述多聲道音頻數據進行全景映射處理進一步包括：

將所述全景視頻數據映射至全景映射球面上；

將所述多聲道音頻數據映射至音頻空間中的各個音頻處理節點上。

4.根據權利要求3所述的方法，其中，所述將所述全景視頻數據映射至全景映射球面上進一步包括：

生成所述全景映射球面，將所述全景視頻數據中的幀圖片貼圖至所述全景映射球面上。

5.根據權利要求4所述的方法，其中，所述生成全景映射球面進一步包括：

將所述全景視頻數據中的幀圖片的側邊作為球面半圓弧生成對應的全景映射球面。

6.根據權利要求3-5任一項中所述的方法，其中，所述將所述多聲道音頻數據映射至音頻空間中的各個音頻處理節點上進一步包括：

調用音頻上下文對象，在所述音頻上下文對象中添加與所述多聲道音頻數據的各個聲道對應的音頻處理節點；

針對所述各個聲道中的每個聲道，根據該聲道的預設方位數據設置該聲道對應的音頻處理節點的位置數據。

7.根據權利要求6所述的方法，其中，所述方法還包括：

將所述各個音頻處理節點的屬性設置為預設音效定位算法的算法標識。

8.根據權利要求3-7任一項中所述的方法，其中，所述將所述中心觀看對象變更后的位置數據應用至所述多聲道音頻數據對應的中心聆聽對象上進一步包括：

根據所述中心觀看對象變更后的位置數據，計算所述各個音頻處理節點相對于所述中心聆聽對象的相對位置變更數據；

根據所述相對位置變更數據，更新所述各個音頻處理節點的位置數據。

9.根據權利要求1-8任一項中所述的方法，其中，所述將所述中心觀看對象變更后的位置數據應用至所述多聲道音頻數據對應的中心聆聽對象上進一步包括：

根據所述中心觀看對象變更后的位置數據，更新所述中心聆聽對象的位置數據。

10.一種全景視頻的音頻處理方法，包括：

響應于用戶執行的全景視頻播放操作，獲取并播放全景音視頻文件；其中，所述全景音視頻文件包含有全景視頻數據和多聲道音頻數據；

監測所述用戶的中心觀看位置變更操作；

響應于所述中心觀看位置變更操作，確定所述全景視頻數據對應的中心觀看對象變更后的位置數據，將所述中心觀看對象變更后的位置數據應用至所述多聲道音頻數據對應的中心聆聽對象上，以同步改變視頻播放效果和音頻播放效果。

11.根據權利要求10所述的方法，其中，所述響應于用戶執行的全景視頻播放操作，獲取并播放全景音視頻文件進一步包括：

響應于用戶執行的全景視頻播放操作，從服務端中拉取由生產端上傳的所述全景音視頻文件；

對所述全景視頻數據和所述多聲道音頻數據進行全景映射處理，而后對所述全景視頻數據和所述多聲道音頻數據進行播放。