[發明專利]多聲道音頻數據的視頻分析輔助產生

有效

• 申請號: 201480008260.1
• 申請日: 2014-02-12
• 公開（公告）號: CN104995681B
• 公開（公告）日: 2017-10-31
• 發明（設計）人: 向佩
• 申請（專利權）人: 高通股份有限公司
• 主分類號: G11B27/031
• 分類號: G11B27/031;G11B27/28;G10L19/008;H04S3/00;H04S7/00
• 代理公司: 北京律盟知識產權代理有限責任公司11287
• 代理人: 宋獻濤

1.一種產生多聲道音頻數據的方法，該方法包括：分析用裝置俘獲的音頻數據，所述分析包括

執行所述音頻數據的聽覺場景分析來識別一或多個音頻對象，并識別描述所述一或多個音頻對象的音頻元數據；

分析在所述俘獲所述音頻數據的同時用所述裝置俘獲的視頻數據，所述分析包括執行所述視頻數據的視覺場景分析來識別一或多個視頻對象及描述所述一或多個視頻對象的視頻元數據，所述音頻元數據及所述視頻元數據使用共同格式；

用所述裝置使所述一或多個音頻對象中的至少一者與所述一或多個視頻對象中的至少一者相關聯；及

通過基于描述所述音頻對象中的所述至少一者的所述音頻元數據與描述所述視頻對象中的所述相關聯的至少一者的所述視頻元數據之間的相關度，將所述音頻對象中的所述至少一者再現為擴散音頻對象，用所述裝置基于所述一或多個音頻對象中的所述至少一者與所述一或多個視頻對象中的所述至少一者的所述關聯從所述音頻數據產生所述多聲道音頻數據。

2.根據權利要求1所述的方法，

其中所述音頻元數據包括所述對應音頻對象的位置、形狀、速度及位置可信程度中的一或多者，并且

其中所述視頻元數據包括所述對應音頻對象的位置、形狀、速度及位置可信程度中的一或多者。

3.根據權利要求2所述的方法，

其中使所述一或多個音頻對象中的所述至少一者與所述一或多個視頻對象中的所述至少一者相關聯包括：

將所述一或多個音頻對象中的每一者分類為一種類型的音頻對象；

將所述一或多個視頻對象中的每一者分類為一種類型的視頻對象；

確定所述音頻對象中的所述至少一者的所述類型為與所述視頻對象中的所述至少一者相同的類型；及

響應于所述確定所述一或多個音頻對象中的所述至少一者的所述類型與所述一或多個視頻對象中的所述至少一者的所述類型相同，使所述一或多個音頻對象中的所述至少一者與所述一或多個視頻對象中的所述至少一者相關聯。

4.根據權利要求2所述的方法，其中產生所述多聲道音頻數據包括：

確定所述一或多個音頻對象中的所述至少一者的所述音頻元數據與所述一或多個視頻對象中的所述至少一者的所述視頻元數據之間的所述相關度，所述一或多個視頻對象中的所述至少一者與所述一或多個音頻對象中的所述至少一者相關聯；

基于所述確定的相關度產生用于所述一或多個音頻對象中的所述至少一者的組合元數據，所述一或多個音頻對象中的所述至少一者與所述一或多個視頻對象中的所述至少一者相關聯；及

基于針對所述一或多個音頻對象中的所述至少一者產生的所述組合元數據將所述一或多個音頻對象中的所述至少一者再現在所述多聲道音頻數據的一或多個前景聲道中。

5.根據權利要求1所述的方法，

其中所述一或多個音頻對象中的所述至少一者包括所述一或多個音頻對象中的第一者，

其中所述方法進一步包括確定所述一或多個音頻對象中的第二者不與所述一或多個視頻對象中的任一者相關聯，并且

其中產生所述多聲道音頻數據包括產生所述多聲道音頻數據以使得所述音頻對象中的所述第二者起源于所述多聲道音頻數據的一或多個背景聲道。

6.根據權利要求5所述的方法，其中產生所述多聲道音頻數據包括產生所述多聲道音頻數據以使得所述音頻對象中的所述第二者作為擴散音頻對象起源于所述多聲道音頻數據的所述一或多個背景聲道。

7.根據權利要求1所述的方法，

其中所述一或多個視頻對象中的所述至少一者包括所述一或多個視頻對象中的第一者，

其中所述方法進一步包括：

確定所述視頻對象中的所述一或多者中的第二者不與所述一或多個音頻對象中的任一者相關聯；

響應于確定所述視頻對象中的所述一或多者中的所述第二者不與所述一或多個音頻對象中的任一者相關聯，從音頻庫檢索原本與所述一或多個視頻對象中的所述第二者相關聯的參考音頻對象；及

基于所述一或多個視頻對象中的所述第二者再現所述參考音頻對象來產生所述多聲道音頻數據的至少一部分。

8.根據權利要求1所述的方法，

其中所述音頻元數據以與用于定義所述視頻元數據的文本格式共同的所述文本格式來加以定義。