[發明專利]一種基于視頻對象追蹤的實時3D聲場構建和混音系統

有效

• 申請號: 201810607331.X
• 申請日: 2018-06-13
• 公開（公告）號: CN108777832B
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 王雨霓;秦明昌
• 申請（專利權）人: 上海藝瓣文化傳播有限公司
• 主分類號: H04R5/02
• 分類號: H04R5/02
• 代理公司: 上?？剖⒅R產權代理有限公司 31225
• 代理人: 翁惠瑜

1.一種基于視頻對象追蹤的實時3D聲場構建和混音方法，其特征在于，該方法包括以下步驟：

獲取視頻流，對該視頻流進行對象檢測及追蹤，形成多個對象的三維空間軌跡，各對象具有對象標簽，所述對象包括聲源對象和非聲源對象；

獲取多路音頻信號，所述音頻信號包括實時收音信號和預制音頻信號；

根據所述對象標簽將獲得的各對象與音頻信號進行匹配，基于所述三維空間軌跡渲染構建3D聲場，基于Ambsonics與Binaural雙耳錄音算法，采用音源信號在空間傳播衰減模型與觀測點反向模型進行所述3D聲場的構建，同時提供3D聲場構建效果的多顆粒度選擇；

所述各對象與音頻信號進行匹配具體為：

對于聲源對象，采用一對一或多對一的方式將各聲源對象匹配到一路音頻信號中，形成聲場中的有效音源；對于非聲源對象，根據各非聲源對象的特性匹配獲得吸音與反射聲波系數；

空間音響合成，生成多種格式輸出；

所述空間音響合成具體為：

將相關線路匹配到3D聲場中帶有聲源信息的對象上或者一個包含多個聲源對象和非聲源對象的集合上，并根據聲場環境參數，獲得一個或多個位置上的聲音頻譜分布，實現收音線路和預制線路的混音。

2.根據權利要求1所述的基于視頻對象追蹤的實時3D聲場構建和混音方法，其特征在于，通過機器學習方法提取聲源相關對象的特征，建立一對象庫，基于所述對象庫進行對象檢測，并利用圖像邊界追蹤技術進行對象追蹤。

3.一種基于視頻對象追蹤的實時3D聲場構建和混音系統，其特征在于，該系統包括：

視頻對象檢測與追蹤模塊，用于獲取視頻流，對該視頻流進行對象檢測及追蹤，形成多個對象的三維空間軌跡，各對象具有對象標簽，所述對象包括聲源對象和非聲源對象；

音頻信號采集模塊，用于獲取多路音頻信號，所述音頻信號包括實時收音信號和預制音頻信號；

3D聲場構建模塊，用于根據所述對象標簽將獲得的各對象與音頻信號進行匹配，基于所述三維空間軌跡渲染構建3D聲場，基于Ambsonics與Binaural雙耳錄音算法，采用音源信號在空間傳播衰減模型與觀測點反向模型進行所述3D聲場的構建，同時提供3D聲場構建效果的多顆粒度選擇；

終混模塊，用于整合以上模塊所得到的參數，空間音響合成生成多種格式輸出，具體地，將相關線路匹配到3D聲場中帶有聲源信息的對象上或者一個包含多個聲源對象和非聲源對象的集合上，并根據聲場環境參數，獲得一個或多個位置上的聲音頻譜分布，實現收音線路和預制線路的混音；

所述3D聲場構建模塊中，各對象與音頻信號進行匹配具體為：

對于聲源對象，采用一對一或多對一的方式將各聲源對象匹配到一路音頻信號中，形成聲場中的有效音源；對于非聲源對象，根據各非聲源對象的特性匹配獲得吸音與反射聲波系數。

4.根據權利要求3所述的基于視頻對象追蹤的實時3D聲場構建和混音系統，其特征在于，所述視頻對象檢測與追蹤模塊中，通過機器學習方法提取聲源相關對象的特征，建立一對象庫，基于所述對象庫進行對象檢測，并利用圖像邊界追蹤技術進行對象追蹤。