[發明專利]用于使用可縮放視頻編碼和合成可縮放視頻會議服務器進行視頻會議的系統和方法

有效

• 申請號: 200680048122.1
• 申請日: 2006-12-22
• 公開（公告）號: CN101341746A
• 公開（公告）日: 2009-01-07
• 發明（設計）人: A·埃爾法澤阿迪斯;O·莎彼洛;T·維格安德;J·查卡萊斯基
• 申請（專利權）人: 維德約股份有限公司
• 主分類號: H04N7/12
• 分類號: H04N7/12
• 代理公司: 上海專利商標事務所有限公司
• 代理人: 錢慰民

相關申請的交叉引用

本申請要求2005年12月22日提交的美國臨時專利申請S/N.60/753, 343的優先權。此外，本申請涉及國際專利申請No.PCT/US06/28365、 PCT/US06/028366、PCT/US06/028367、PCT/US06/027368和 PCT/US06/061815以及美國臨時專利申請No.60/778,760、60/787,031、 60/774,094和60/827,469。所有前述優先權和相關申請通過全文引用而結合于 此。

發明領域

本發明涉及多媒體技術和電信。具體地，本發明涉及用于個人對個人和多 方會議應用的音頻和視頻數據的通信和分發。更具體地，本發明涉及個人對個 人或多方會議應用的實現，其中某些參與方可能僅能夠支持對與單個畫面相對 應的、使用可縮放視頻編碼技術編碼的視頻比特流的接收。本發明也針對在可 提供不同水平的服務質量(QoS)的通信網絡連接上，以及在其中最終用戶可 使用不同能力的設備和通信信道接入會議應用的環境中實現此類系統。

發明背景

視頻會議系統允許兩個或多個遠程參與方/端點彼此使用音頻和視頻實時 地傳送視頻和音頻。當僅涉及兩個遠程參與方時，可使用兩個端點之間的適當 電子網絡上的直接通信傳輸。當涉及多于兩個的參與方/端點時，多點會議單元 (MCU)或橋接器通常被用于連接到所有參與方/端點。MCU協調可例如以星 形配置連接的多個參與方/端點之間的通信。注意：即使僅涉及兩個參與方時， 在兩個參與方之間使用MCU仍是有益的。

對于視頻會議，參與方/端點或終端配備有合適的編碼和解碼設備。在發 送端點，編碼器將本地音頻和視頻輸出格式化成適于在電子網絡上進行信號傳 輸的經編碼形式。相反，在接收端點處，解碼器將接收到的具有經編碼的音頻 和視頻信息的信號處理成適于接收端點的音頻回放或圖像顯示的經解碼形式。

傳統上，最終用戶自身的圖像也在他/她的屏幕上顯示以提供反饋(以確 保例如個人在視頻窗口中的適當定位)。

在通過通信網絡實現的實際的視頻會議系統中，遠程參與方之間的交互式 視頻會議的質量取決于端對端信號延遲。大于200ms的端對端延遲阻礙了會議 參與方之間的逼真實況轉播或自然交互。這種長時間的端對端延遲使得為了讓 正在傳送中的來自其他參與方的視頻和音頻數據到達他們的端點，會議參與方 不自然地抑制自己進行積極的參與或響應。

端對端信號延遲包括捕獲延遲(例如，與用以填滿A/D轉換器的緩沖器 的時間相對應的延遲)、編碼延遲、發送延遲(例如，與向端點的網絡接口控 制器提交數據包所花的時間相對應的延遲)、以及傳輸延遲(與包在通信網絡 中從端點到端點傳播的時間相對應的延遲)。另外，通過協調MCU的信號處 理時間也構成給定系統中總的端對端延遲的一部分。

MCU的主要任務是混合傳入的音頻信號，使得單個音頻流被發送給所有 參與方，并且將由各個參與方/端點發送的視頻幀或畫面混合成包括每個參與方 的畫面的公共合成視頻幀流。注意：術語幀和畫面在本文中可交換使用，并且 此外對于本領域技術人員而言，可結合作為單個場或作為組合幀的交織幀的編 碼(基于場或基于幀的畫面編碼)是顯而易見的。部署在常規通信網絡系統中 的MCU僅為混合成分發給視頻會議會話中的所有參與方的公共合成視頻幀中 的所有單個畫面提供單一的公共分辨率(例如，CIF或QCIF分辨率)。因而， 常規通信網絡系統不易于提供參與方可籍此能以不同分辨率觀看其他參與方 的定制視頻會議功能。這種定制功能可允許參與方例如以CIF分辨率觀看另一 特定參與方(例如，正在講話的參與方)，而以QCIF分辨率觀看靜默參與方。 網絡中的MCU可被配置成通過將視頻混合操作重復與視頻會議中參與方的數 目一樣多的次數來提供該定制功能。然而，在這種配置中，MCU操作引入了 相當大的端對端延遲。此外，MCU必需具有充分的數字信號處理能力來解碼 多個音頻流、混合和重編碼它們、以及還解碼多個視頻流、將它們合成為單個 幀(按需使用適當的縮放)和再次將它們重編碼成單個流。視頻會議解決方案 (諸如由加州(94588)普萊森頓的Willow路4750號的泊立康目(Polycom) 公司和紐約州(10166)紐約的Park大道200號的坦得勃格(Tandberg)商業 銷售的系統)必須使用專用硬件組件來提供可接受的質量和性能水平。