[發明專利]使用音頻對象的時間變化的音頻對象聚類

有效

• 申請號: 201410078314.3
• 申請日: 2014-02-28
• 公開（公告）號: CN104882145B
• 公開（公告）日: 2019-10-29
• 發明（設計）人: 陳連武;蘆烈;J·布里巴特
• 申請（專利權）人: 杜比實驗室特許公司
• 主分類號: G10L19/022
• 分類號: G10L19/022;H04S7/00
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華

本發明的實施例涉及使用音頻對象的時間變化的音頻對象聚類。提供一種用于在音頻對象聚類中使用音頻對象的時間變化的方法。該方法包括：獲取與所述音頻對象相關聯的音軌的至少一個片段，所述至少一個片段包含所述音頻對象；基于所述音頻對象的至少一個屬性，估計所述音頻對象在所述至少一個片段的持續時間上的變化；以及至少部分地基于估計的所述變化，調整所述音頻對象在所述音頻對象聚類中對聚類中心的確定的貢獻。還公開了相應的系統和計算機程序產品。

技術領域

本發明總體上涉及音頻對象聚類，更具體地，涉及用于在音頻對象聚類中使用音頻對象的時間變化的方法和系統。

背景技術

傳統上，音頻內容以基于聲道(channel based)的格式被創建和存儲。在此使用的術語“音頻聲道”或“聲道”是指通常具有預定義物理位置的音頻內容。例如，立體聲、環繞5.1、環繞7.1等都是用于音頻內容的基于聲道的格式。近來，很多傳統的多聲道系統已經被擴展為支持一種新型格式，這種格式包括聲道和音頻對象二者。在此使用的術語“音頻對象”或簡稱“對象”是指在聲場中存在特定持續時間的個體音頻元素。一個音頻對象可以是動態的也可以是靜態的。例如，音頻對象可以是人、動物或者能夠充當聲源的任何其他元素。音頻對象和聲道可以被分開發送，繼而由重現系統動態使用以便基于回放設備的配置來自適應地重建創作意圖。作為示例，在稱為“自適應音頻內容”(adaptive audiocontent)的格式中，可以存在一個或多個音頻對象以及一個或多個“靜態環境聲”(audiobed)，靜態環境聲是將以預定義的、固定的位置進行重現的聲道。

通過創建更具沉浸感的聲場以及精準地控制離散的音頻對象(無需考慮回放設備的特定配置)，基于對象的音頻內容相對于傳統基于聲道的音頻內容而言代表著顯著的進步。例如，在電影的音軌中可以包含多個不同聲音元素，以對應于屏幕上畫面、對話、噪聲和音效，這些音效從畫面上的不同位置發出，并且與背景音樂和環境音效結合以創建整體的聽覺體驗。

然而，基于對象的音頻內容中的大量音頻信號(靜態環境聲和音頻對象)給音頻內容的編碼和分發帶來了新的挑戰。將會理解，在很多情況下，諸如在經由藍光光碟、廣播(藍線、衛星和陸地廣播)、移動網絡、互聯網機頂盒(OTT)或者因特網的分發中，用于傳輸和處理所有靜態環境聲、音頻對象和相關信息的帶寬和／或其他資源可能是有限的。盡管可以使用音頻編碼和壓縮技術來減小待處理信息的量，但是這些技術在某些情況下是不適用的，特別是對于復雜的場景以及帶寬非常有限的網絡(諸如，移動網絡)。而且，音頻編碼／壓縮技術只能夠通過考慮單聲道或者聲道配對內的冗余來降低比特率。對于基于對象的音頻內容，很多空間冗余并未被納入考慮，諸如音頻對象之間的空間位置重疊和空間掩蔽效應(mask effect)。

為了利用空間冗余性來進一步降低資源需求，已經提供向音頻對象應用聚類(clustering)過程，使得得到的每個類能夠代表一個或多個音頻對象。通常，一個類可以包含／合并彼此足夠接近的多個音頻對象(靜態環境聲可以作為具有預定義位置的音頻對象而被處理)。一般而言，在音頻對象聚類中，需要考慮若干基本的標準。例如，應當準確地表征和建模原始內容的空間特性，以便保持總體空間感。另外，在聚類過程中應當避免聽覺瑕疵或者對后續處理的任何問題／挑戰。然而，在空間對象聚類的已知嘗試中，聚類通常是在每個幀的基礎上執行的。例如，聚類中心(centroid)是針對每個幀而獨立確定的，沒有考慮音頻對象隨時間的變化。因此，聚類過程的幀間穩定性相對較低，這很可能在呈現音頻對象類時引起聽覺瑕疵。

有鑒于此，本領域中需要一種支持更加穩定的音頻對象聚類的技術方案。

發明內容

為了解決上述問題，本發明提出一種用于音頻對象聚類的方法和系統。