[發明專利]使用音頻對象的時間變化的音頻對象聚類

有效

• 申請號: 201410078314.3
• 申請日: 2014-02-28
• 公開（公告）號: CN104882145B
• 公開（公告）日: 2019-10-29
• 發明（設計）人: 陳連武;蘆烈;J·布里巴特
• 申請（專利權）人: 杜比實驗室特許公司
• 主分類號: G10L19/022
• 分類號: G10L19/022;H04S7/00
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華

1.一種用于在音頻對象聚類中使用音頻對象的時間變化的方法，所述方法包括：

確定多個音頻對象簇的多個質心，其中所述多個音頻對象簇包括多個音頻對象，其中確定所述多個質心包括：針對所述多個音頻對象中的每個音頻對象：

獲取與所述音頻對象相關聯的音軌的至少一個片段，所述至少一個片段包含所述音頻對象；

基于所述音頻對象的至少一個屬性，估計所述音頻對象在所述至少一個片段的持續時間上的變化；以及

至少部分地基于估計的所述變化，調整所述音頻對象在所述音頻對象聚類中對聚類中心的確定的貢獻，

其中：

所述音頻對象的所述貢獻至少部分地基于對所述音頻對象的感知重要性的估計而確定，并且調整所述貢獻包括將增益應用于所述音頻對象的所述感知重要性，所述增益隨著所估計的變化增加而降低；和/或

調整所述音頻對象的所述貢獻包括：至少部分地基于所估計的變化大于預定義變化閾值的這一確定，在所述音頻對象聚類中從所述質心的所述確定中排除所述音頻對象；以及

根據所述多個質心中的最接近的質心，將所述多個音頻對象中的每個音頻對象分配到所述多個音頻對象簇的一個音頻對象簇。

2.根據權利要求1所述的方法，其中獲取所述音軌的所述至少一個片段包括基于以下至少一個對所述音軌進行分段：

所述音頻對象的特征的一致性；

所述音頻對象的感知屬性，所述感知屬性指示所述音頻對象的感知水平；以及

預定義的時間窗。

3.根據權利要求1或者2所述的方法，其中所述音頻對象的所述至少一個屬性包括所述音頻對象的感知屬性，所述感知屬性指示所述音頻對象的感知水平，并且其中估計所述音頻對象的所述變化包括：

估計所述感知屬性在所述至少一個片段的所述持續時間上的間斷性。

4.根據權利要求3所述的方法，其中估計所述感知屬性的所述間斷性包括估計以下至少一個：

所述感知屬性在所述持續時間上的動態范圍；

所述感知屬性在所述持續時間上的躍遷頻率；以及

所述感知屬性在所述持續時間上的高階統計量。

5.根據權利要求2到4任一項所述的方法，其中所述音頻對象的所述感知屬性包括以下至少一個：

所述音頻對象的響度；

所述音頻對象的能量；以及

所述音頻對象的感知重要性。

6.根據權利要求1到5任一項所述的方法，其中估計所述音頻對象的所述變化包括：

估計所述音頻對象在所述至少一個片段的所述持續時間上的空間速度。

7.根據權利要求1到6任一項所述的方法，其中調整所述音頻對象的所述貢獻包括：

至少部分地基于估計的所述變化，調整所述音頻對象在所述音頻對象聚類中被選擇作為所述聚類中心的概率；或者

至少部分地基于估計的所述變化，調整所述音頻對象在所述音頻對象聚類中對所述聚類中心的更新的貢獻。

8.根據權利要求1所述的方法，其中對所述音頻對象的所述排除還基于一組約束，所述一組約束包括以下至少一個：

如果所述音頻對象的預定義鄰域內的至少一個音頻對象未從所述聚類中心的所述確定中被排除，則排除所述音頻對象；以及

如果所述音頻對象在所述至少一個片段的先前幀中已經從所述聚類中心的所述確定中被排除，則排除所述音頻對象。

9.根據權利要求1到8任一項所述的方法，還包括：

確定與所述音頻對象相關聯的場景的復雜性，

其中所述音頻對象的所述貢獻基于所述音頻對象的估計的所述變化以及確定的所述場景的所述復雜性而被調整。

10.根據權利要求9所述的方法，其中所述場景的所述復雜性基于以下至少一個來確定：

所述場景中的音頻對象的數目；

輸出類的數目；以及

所述場景中的音頻對象的分類。