[發明專利]使用圖像信息的基于空間的音頻對象生成

有效

• 申請號: 202010690663.6
• 申請日: 2020-07-17
• 公開（公告）號: CN112333623B
• 公開（公告）日: 2022-03-01
• 發明（設計）人: S.斯里達蘭;I.M.瑟法蒂
• 申請（專利權）人: 國際商業機器公司
• 主分類號: H04S5/00
• 分類號: H04S5/00;G10L13/02;G10L25/30
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 邸萬奎

1.一種用于生成多通道音頻對象的方法，包括：

使用多個訓練輸入訓練音頻神經網絡的模型以生成多通道音頻對象，該多通道音頻對象包括比給定基線音頻軌道數量更多的音頻通道，所述訓練輸入包括從一個或多個訓練視頻幀的圖像、兩個或多個與所述訓練視頻幀對應的音頻軌道、以及一個或多個與所述訓練視頻幀對應的基線音頻軌道提取的一個或多個訓練特征，與所述訓練視頻幀對應的所述基線音頻軌道包括比與所述訓練視頻幀對應的兩個或多個音頻通道數量更少的音頻軌道；

使用一個或多個圖像分析神經網絡識別給定視頻幀中的一個或多個特征；和

使用所述音頻神經網絡，基于一個或多個識別的特征和一個或多個給定基線音頻軌道生成多通道音頻對象，所述多通道音頻對象包括比給定基線音頻軌道數量更多的音頻通道。

2.根據權利要求1所述的方法，其中所述模型是生成對抗網絡和可變自動編碼器之一。

3.根據權利要求1所述的方法，還包括基于一個或多個訓練視頻幀和一個或多個對應的訓練特征來訓練每個圖像分析神經網絡。

4.根據權利要求1所述的方法，還包括對所述多通道音頻軌道進行下采樣，以生成所述基線音頻軌道。

5.根據權利要求1所述的方法，還包括識別所述給定視頻幀中的一個或多個對象，一個或多個識別被提供作為所述音頻神經網絡的輸入。

6.一種用于生成多通道音頻對象的裝置，包括：

存儲器；和

至少一個處理器，其耦合到所述存儲器，并且可操作來執行根據權利要求1至5中任一項所述的方法。

7.一種用于生成多通道音頻對象的計算機系統，包括用于執行根據權利要求1至5中任一項所述的方法的步驟的模型。

8.一種用于生成多通道音頻對象的計算機存儲介質，具有計算機可讀程序代碼，所述計算機可讀程序代碼可由一個或多個計算機處理器執行，以執行根據權利要求1至5中任一項所述的方法。