[發明專利]視頻會議中的對話方法及多點控制單元

有效

• 申請號: 201010243594.0
• 申請日: 2010-08-02
• 公開（公告）號: CN102348097A
• 公開（公告）日: 2012-02-08
• 發明（設計）人: 丁志杰
• 申請（專利權）人: 杭州華三通信技術有限公司
• 主分類號: H04N7/15
• 分類號: H04N7/15
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 王一斌;王琦

技術領域

本發明涉及視頻會議技術領域，具體涉及視頻會議中的對話方法及多點控制單元(MCU，Multi-Point?Control?Unit)。

背景技術

為便于理解，首先給出如下概念說明：

視頻會議：集視頻、音頻、數據通信于一體的會議，可實時傳輸各個會場的圖像和聲音，使得各個會場從邏輯上處于一個會議中，但是物理上不在一個區域內；與傳統會議相比，可節省大量開支而不影響會議的質量。

會場終端：多媒體通信設備類型之一，具有一個系統控制單元、H.225.0層、網絡接口和一個音頻編解碼器單元，一般還有視頻編解碼器單元和用戶數據應用。

MCU：視頻會議中的核心設備，主要負責與會場終端或其它MCU之間的信令的處理和碼流的轉發或處理。

多畫面：在MCU上選擇多個會場圖像，按照某種分屏模式拼接出一個畫面，使會議中終端可以在一個顯示器上就看到多個會場的畫面。

視頻會議系統通過網絡通信技術實現虛擬會議，將地理上分散的用戶聚集在一處，通過圖像、聲音等多種方式交流信息，開展協同工作。視頻會議在最大程度上縮短了空間距離，方便了協作成員之間實時、直觀的交流。這一會議模式得到了越來越普遍的應用。

通常情況下，整個會議按照預先定義的流程進行，在同一時刻所有會場均觀看某一特定會場圖像，聽取該會場的聲音。整個會議的流程由在MCU側的管理人員或者主席會場進行操作控制，根據議程或需要切換不同的會場在會議中廣播。

目前視頻會議中，最主要有兩種應用，一種是演講，這種情況下，由于是單方向的發送，接收方一般感覺不到延時；另外一種是對話，此時有兩個會場互相說話，這種情況下如果延時較大，則對通話的影響很大。

當會議中有兩人對話時，MCU一般做如下處理：

1、對于視頻：接收兩個會場的畫面，對畫面進行解碼后拼接成二分屏，對二分屏編碼后發送給所有會場；

2、對于音頻：接收所有會場的聲音，進行能量估計，獲取音量最大的幾路比如：4路，對獲取的聲音依次進行解碼、混音、編碼處理，然后發送給所有會場。

在現有方案中，多畫面的拼接步驟需要完成解碼、拼接、編碼3個主要步驟，另外還包括各步驟的緩沖、延時處理，一般情況下，會引入100～200ms的延時。同時，由于音頻需要能量估計、解碼、混音、編碼，一般也會引入60～150ms的延時，而由于需要唇音同步，音頻會增加延時，以與視頻保持一致。因此，A和B交互時，A到B的聲音在MCU上有延時，B聽到后答復A又有延時，這樣在終端本身有延時的情況下，增加的延時就會讓A和B發現，自己講話完了都需要停頓一下，對方的聲音才回來，同時，A+B的混音發送給其它會場，其它會場也會發現對話不連續，中間有停頓。

圖1給出了一個視頻會議的對話示意圖，如圖1所示，該會議中有3個會場：會場1、2、3，其中，會場1、2之間對話。假設MCU與各會場之間的音頻包傳輸延時為150ms，混音器對音頻包進行先解碼后編碼、混音處理耗時150ms，則以音頻包為例，會場1、2之間的對話過程如圖2所示：

步驟01：會場1講話，會場1發送音頻包1給MCU，MCU接收音頻包1，此步驟延時150ms。

步驟02：MCU對音頻包1先解碼后編碼、混音，此步驟延時150ms。

步驟03：MCU將混音后的音頻包1發送給會場2和會場3，會場2和會場3接收音頻包1，此步驟延時150ms；此時會場2聽到會場1的聲音，會場2講話。

步驟04：音頻包2從會場2發送給MCU，MCU接收音頻包2，此步驟延時150ms。

步驟05：MCU對音頻包2先解碼后編碼、混音，此步驟延時150ms。

步驟06：MCU將混音后的音頻包2發送給會場1和會場3，會場1和會場3接收音頻包2，此步驟延時150ms；此時會場1聽到會場2的答復。

從圖2可以看出，從會場1說完到會場1聽到會場2的答復，中間停頓了900ms；而會場3在聽到會場1說完后到聽到會場2的答復，中間停頓了450ms。

發明內容

本發明提供視頻會議中的對話方法及裝置，以降低視頻會議對話過程中的延時。

本發明的技術方案是這樣實現的：

一種視頻會議中的對話方法，其中，第一會場與第二會場對話，該方法包括：