[發(fā)明專利]對輸入數(shù)據(jù)流進行混合以及從中產生輸出數(shù)據(jù)流

有效

• 申請?zhí)枺?/td>: 200980116080.4
• 申請日: 2009-03-04
• 公開（公告）號: CN102016985A
• 公開（公告）日: 2011-04-13
• 發(fā)明（設計）人: 馬庫斯·施內爾;曼弗雷德·盧茨基;馬庫斯·馬特拉斯
• 申請（專利權）人: 弗勞恩霍夫應用研究促進協(xié)會
• 主分類號: G10L19/14
• 分類號: G10L19/14;G10L19/08
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 楊靜

技術領域

根據(jù)本發(fā)明的實施例涉及對多個輸入數(shù)據(jù)流進行混合以獲得輸出數(shù)據(jù)流，并且相應地通過對第一和第二輸入數(shù)據(jù)流進行混合來產生輸出數(shù)據(jù)流。輸出數(shù)據(jù)流例如可以在包括視頻會議系統(tǒng)和電話會議系統(tǒng)在內的會議系統(tǒng)領域中使用。

背景技術

在許多應用中，要以以下方式來處理多于一個音頻信號：根據(jù)多個音頻信號，要產生一個信號或至少減小數(shù)目的信號，這通常稱為“混合”。因此，混合音頻信號的過程可以稱為將多個單獨音頻信號捆綁為生成信號。例如在創(chuàng)建音樂用于致密光盤(“配音”)時，使用這一過程。在這種情況下，典型地，將不同樂器的不同音頻信號與包括聲樂表演(歌唱)的一個或多個音頻信號混合為歌曲。

混合處理扮演重要角色的其他應用領域是視頻會議系統(tǒng)和電話會議系統(tǒng)。典型地，這種系統(tǒng)能夠通過采用中心服務器來對會議中的多個在空間上分散的參與者進行連接，中心服務器對注冊參與者的輸入視頻和音頻數(shù)據(jù)進行適當混合，并將生成信號返回發(fā)送給每個參與者。該生成信號或輸出信號包括所有其他會議參與者的音頻信號。

在現(xiàn)代數(shù)字會議系統(tǒng)中，多個部分矛盾的目標和方面互相競爭。必須考慮重構音頻信號的質量，以及針對不同類型音頻信號(例如話音信號相比于一般音頻信號和音樂信號)，一些編碼和解碼技術的實用性和有效性。在設計和實現(xiàn)會議系統(tǒng)時還要考慮的其他方面是可用帶寬和延遲問題。

例如，在對一方面質量和另一方面帶寬進行平衡時，在多數(shù)情況下，折衷不可避免。然而，可以通過實現(xiàn)現(xiàn)代編碼和解碼技術，如AAC-ELD技術(AAC＝高級音頻編解碼；ELD＝增強低延遲)，來實現(xiàn)與質量相關的改進。然而，可實現(xiàn)的質量可能以更多的基本問題和方面對采用這種現(xiàn)代技術的系統(tǒng)造成負面影響。

僅列出要滿足的一個挑戰(zhàn)，所有數(shù)字信號傳輸面臨所需量化的問題，至少在原理上，該問題在無噪聲的模擬系統(tǒng)中的理想環(huán)境下是可避免的。由于量化過程，不可避免地將特定量的量化噪聲引入要處理的信號。為了對抗可能和可聽的失真，可能嘗試增加量化級的數(shù)目，從而相應提高了量化分辨率。然而，這導致要發(fā)送更大數(shù)目的信號值，從而導致要發(fā)送的數(shù)據(jù)量增大。換言之，通過減小由量化噪聲引入的可能失真來提高質量，在特定環(huán)境下將增大要發(fā)送的數(shù)據(jù)量，并且可能最終違反施加于傳輸系統(tǒng)上的帶寬限制。

在會議系統(tǒng)的情況下，由于典型地要處理多于一個輸入音頻信號，因此對質量、可用帶寬和其他參數(shù)之間的權衡進行改進的挑戰(zhàn)甚至更加復雜。因此，在產生由會議系統(tǒng)產生的輸出信號或生成信號時，必須考慮多于一個音頻信號所施加的邊界條件。

尤其是考慮到實現(xiàn)具有充分低延遲的會議系統(tǒng)的另一挑戰(zhàn)：在不引入參與者認為不可接受的實質延遲的情況下，實現(xiàn)會議參與者之間的直接通信，這種挑戰(zhàn)進一步提升。

在會議系統(tǒng)的低延遲實現(xiàn)中，典型地在延遲源的數(shù)目方面對其進行限制，另一方面，這可能導致在通過疊加或添加相應信號可以實現(xiàn)音頻信號混合的時域之外處理數(shù)據(jù)的挑戰(zhàn)。

一般而言，贊成仔細選擇適合于會議系統(tǒng)的質量、可用帶寬與其他參數(shù)之間的權衡，以便應對用于實時混合的處理開銷、降低所需的硬件數(shù)量、并且保持硬件以及不包括音頻質量的合理傳輸開銷的成本。

為了減少傳輸?shù)臄?shù)據(jù)量，現(xiàn)代音頻編解碼器通常利用高復雜度工具來描述與相應音頻信號的頻譜分量有關的頻譜信息。通過利用這種基于心理聲學現(xiàn)象和檢查結果的工具，可以實現(xiàn)部分矛盾參數(shù)與邊界條件(例如，根據(jù)傳輸數(shù)據(jù)的重構音頻信號的質量、計算復雜度、比特率、以及其他參數(shù))之間改進的權衡。

例如，針對這種工具的示例是感知噪聲替換(PNS)、時間噪聲成形(TNS)、以及頻譜帶復制(SBR)，僅列舉少數(shù)。所有這些技術基于描述具有與不使用這些工具所基于的數(shù)據(jù)流相比減少比特數(shù)目的頻譜信息的至少一部分，可以將更多比特分配給頻譜中頻譜的重要部分。因此，在保持比特率的同時，可以通過使用這樣的工具來提高質量感知級。當然，可以選擇不同權衡，從而減少音頻信號的每幀傳輸?shù)谋忍財?shù)目，同時保持總音頻印象。還可以同樣極好地實現(xiàn)這兩個極端之間的不同權衡。

這些工具也可以使用在電信應用中。然而，當在這種通信情況下存在多于兩個參與者時，采用會議系統(tǒng)用于混合多于兩個參與者的兩個或多個比特流是有利的。類似于上述的情況出現(xiàn)在純基于音頻的或電話會議情況以及視頻會議情況。

例如，在US?2008/0097764A1中描述了一種在頻域中工作的會議系統(tǒng)，該系統(tǒng)執(zhí)行頻域中的實際混合，并從而省略將輸入音頻信號重變換到時域中的操作。