[發(fā)明專利]分屏多媒體視頻會(huì)議

無效

• 申請?zhí)枺?/td>: 200680009752.8
• 申請日: 2006-01-26
• 公開（公告）號(hào): CN101147400A
• 公開（公告）日: 2008-03-19
• 發(fā)明（設(shè)計(jì)）人: 成道·黃;史蒂文·王;衛(wèi)平·李
• 申請（專利權(quán)）人: 愛米特系統(tǒng)公司
• 主分類號(hào): H04N7/26
• 分類號(hào): H04N7/26;H04N7/15
• 代理公司: 北京律誠同業(yè)知識(shí)產(chǎn)權(quán)代理有限公司
• 代理人: 徐金國;陳紅

技術(shù)領(lǐng)域

本發(fā)明涉及多媒體通信系統(tǒng)中的分屏視頻。更具體地說，本發(fā)明的實(shí)施方式涉及用于比特流域視頻分割的系統(tǒng)和方法。

背景技術(shù)

多方和多媒體的實(shí)時(shí)通信在很長一段時(shí)間是具有挑戰(zhàn)性的技術(shù)問題。最直接的方法是每一個(gè)用戶都發(fā)送多媒體數(shù)據(jù)(如視頻、音頻、圖像、文本和文件)給每一個(gè)其他的用戶，如圖1所示。

現(xiàn)有技術(shù)中，用戶的網(wǎng)狀連接(mesh?connection)典型地需要非常高的帶寬，因?yàn)槊恳粋€(gè)用戶必須接收來自多個(gè)用戶的不同的媒體數(shù)據(jù)，并且每一個(gè)用戶必須發(fā)送相同的媒體數(shù)據(jù)給多個(gè)用戶。網(wǎng)絡(luò)中數(shù)據(jù)流量的總帶寬將隨著用戶數(shù)的增加而迅速增加。每個(gè)用戶終端所需的處理能力也會(huì)隨著用戶數(shù)的增加而迅速增加。因此，多用戶的網(wǎng)狀連接通常具有缺點(diǎn)。

圖2示出了現(xiàn)有技術(shù)中的視頻會(huì)議系統(tǒng)，該系統(tǒng)通過使用多點(diǎn)控制單元(“MCU”)作為所有用戶的中心連接點(diǎn)來解決這個(gè)問題。

為了節(jié)約帶寬，MCU接收來自所有用戶的編碼后的視頻比特流，對其解碼，將所有的視頻序列或選擇一定數(shù)量的視頻序列混合到一個(gè)視頻序列中，對組合后的視頻序列編碼，并將一個(gè)比特流分別發(fā)送到每一個(gè)用戶。在混合多視頻序列的過程中，必須將一些輸入視頻序列的分辨率減小以使組合后的視頻序列具有給定的分辨率。例如，如果用戶1、用戶2和用戶3在他們的視頻中，使用公共交互格式(“CIF”)，并且用戶4、用戶5和用戶6在他們的視頻中，使用四分之一CIF(“QCIF”)，第一、三用戶的視頻分辨率為352×288像素，并且最后三位用戶的視頻分辨率為176×144像素。假設(shè)第一四視頻序列典型地混合到一個(gè)單一的CIF視頻序列中，第一、三視頻序列的分辨率必須在與第四視頻序列組合為輸出視頻序列之前從CIF減小到QCIF。圖3示出了本實(shí)施例的流程。選擇哪些視頻序列將混合在一起通常是通過語音啟動(dòng)選擇(“VAS”)或者通過主席控制(chair?control)進(jìn)行的。在上面的例子中，如果使用VAS，選出與視頻會(huì)議中最高的四個(gè)語音相關(guān)的四個(gè)視頻序列來混合。如果使用主席控制，在用戶中，指定一個(gè)用戶作為主席，并且這個(gè)用戶可以確定將哪些視頻序列混合在一起。

在單個(gè)MCU中，用戶的數(shù)量通常是受限的，因?yàn)镸CU的帶寬和處理能力都會(huì)隨著用戶數(shù)的增加而增加。為了處理大量用戶的并發(fā)視頻會(huì)議，在現(xiàn)有技術(shù)中，多個(gè)MCUs是層疊的，如圖4所示。在傳統(tǒng)的視頻會(huì)議系統(tǒng)中，在事物中通常存在網(wǎng)守，用于確保關(guān)于哪一個(gè)用戶連接到哪一個(gè)MCU以及多個(gè)MCU是如何層疊的信息，從而可以通過合適的MCU來完成用戶間的視頻呼叫。對于每一個(gè)MCU，和其他MCU的連接通過與和用戶的連接一樣對待。例如，如果一個(gè)視頻會(huì)議涉及在MCU1上的三個(gè)用戶，在MCU2上的2個(gè)用戶，在MCU3上的2個(gè)用戶，以及在MCU4上的3個(gè)用戶，每一個(gè)獨(dú)立的MCU將其自己的本地視頻混合并作為單個(gè)視頻比特流發(fā)送給相鄰MCU。這意味著，將來自用戶1.1的視頻通過在MCU1、MCU2、和MCU4上的三個(gè)視頻混合發(fā)送給用戶4.1。

現(xiàn)有技術(shù)中，層疊的MCU視頻會(huì)議系統(tǒng)存在端到端的時(shí)延問題，尤其是在IP網(wǎng)絡(luò)中。首先，每一個(gè)MCU的視頻處理都會(huì)引入時(shí)延。其次，每一個(gè)MCU通常必須等待所有的相關(guān)視頻包都到達(dá)后，才能解碼和混合多個(gè)視頻序列。這也存在傳輸時(shí)延。因此，對于用戶來說通常由于端到端的總時(shí)延太長，不能進(jìn)行實(shí)時(shí)的交互通信。在任何兩個(gè)端點(diǎn)間的傳輸路徑中，時(shí)延量通常會(huì)隨著層疊的MCU的數(shù)量而增加。

因此，在現(xiàn)有技術(shù)中，傳統(tǒng)視頻會(huì)議系統(tǒng)的缺點(diǎn)是不能處理大量用戶?，F(xiàn)有技術(shù)中的傳統(tǒng)視頻會(huì)議系統(tǒng)的另一個(gè)缺點(diǎn)是每個(gè)用戶的成本相對太高。還有一個(gè)缺點(diǎn)是通常隨著用戶數(shù)以及層疊的MCU的增加，呼叫建立的復(fù)雜度迅速增大。

發(fā)明內(nèi)容

一種視頻的編碼方法。以全幀分辨率捕捉視頻序列。識(shí)別視頻序列幀中內(nèi)部區(qū)域的邊界。以全幀分辨率將視頻序列編碼為比特流。比特流包含針對內(nèi)部區(qū)域編碼的子比特流。在比特流中嵌入數(shù)據(jù)。數(shù)據(jù)用于在比特流中識(shí)別出子比特流。一方面，數(shù)據(jù)是用于指定(specify)內(nèi)部區(qū)域的包頭。另一方面，編碼基于內(nèi)部區(qū)域的像素估計(jì)內(nèi)部區(qū)域中像素的運(yùn)動(dòng)。

本發(fā)明還描述一種方法，包含：接收編碼后的比特流，所述比特流以全幀分辨率針對視頻序列編碼的。識(shí)別出比特流中的子比特流。所述子比特流是針對視頻序列幀中內(nèi)部區(qū)域編碼的。內(nèi)部區(qū)域具有低于全幀分辨率的第一分辨率。丟棄比特流中的比特(Bits)來獲得子比特流。