[發明專利]低碼流的視頻會議系統及方法、發送端設備、接收端設備

有效

• 申請號: 201210480773.5
• 申請日: 2012-11-23
• 公開（公告）號: CN103841358B
• 公開（公告）日: 2017-12-26
• 發明（設計）人: 李霞;付賢會;張凱;修巖
• 申請（專利權）人: 中興通訊股份有限公司
• 主分類號: H04N7/15
• 分類號: H04N7/15;H04N7/14
• 代理公司: 北京派特恩知識產權代理有限公司11270
• 代理人: 蔣雅潔,張穎玲

1.一種低碼流的視頻會議系統，其特征在于，該系統包括：發送端設備和接收端設備，所述發送端設備，用于在獲取音頻數據和視頻數據并分別形成音頻特征映射和視頻特征映射，獲取局部動態圖像；還用于傳輸音頻數據和局部動態圖像到接收端設備，所述接收端設備，用于根據從本端的音頻特征映射和視頻特征映射中提取的音頻特征、視頻特征及接收的所述局部動態圖像整理合成出原始視頻數據并播放音頻數據；

其中，所述接收端設備，還用于從音頻數據的編碼中提取出發言者身份，查詢已經存在的音頻特征映射和視頻特征映射，根據所述發言者身份從音頻特征映射中提取出音頻特征，從視頻特征映射中提取出視頻特征，采用提取出的視頻特征和接收的局部動態圖像合成還原出原始視頻數據，并結合音頻特征輸出音頻數據和原始視頻數據。

2.根據權利要求1所述的系統，其特征在于，所述發送端設備包括：采集單元、識別單元、特征映射單元、發送單元，所述接收端設備包括：接收單元、特征提取比對單元、數據合成輸出單元；其中，

所述采集單元，用于采集音頻數據和視頻數據，將采集的音頻數據和視頻數據發送給識別單元；

所述識別單元，用于識別出發言者身份，對采集的音頻數據進行語音識別并獲取音頻特征，對采集的視頻數據進行圖像識別并獲取視頻特征和局部動態圖像，將音頻特征、視頻特征和局部動態圖像發送給特征映射單元；

所述特征映射單元，用于查詢是否已經存在音頻特征映射和視頻特征映射，如果查詢不到，則根據所述音頻特征和所述視頻特征分別生成音頻特征映射和視頻特征映射；

所述發送單元，用于發送音頻數據和局部動態圖像，音頻數據的編碼中攜帶所述發言者身份；

所述接收單元，用于接收音頻數據和局部動態圖像；

所述特征提取比對單元，用于從音頻數據的編碼中提取出所述發言者身份，查詢已經存在的音頻特征映射和視頻特征映射，根據所述發言者身份從音頻特征映射中提取出音頻特征，從視頻特征映射中提取出視頻特征；

所述數據合成輸出單元，用于采用提取出的視頻特征和接收的局部動態圖像合成還原出原始視頻數據，并結合音頻特征輸出音頻數據和原始視頻數據。

3.根據權利要求2所述的系統，其特征在于，所述識別單元，進一步用于識別出發言者身份和發言者當前參與會議的會議號，由所述發言者身份和所述會議號形成身份識別碼，由所述身份識別碼標識與采集的音頻數據和視頻數據對應的身份特征；或者，僅由所述發言者身份標識所述身份特征。

4.根據權利要求2所述的系統，其特征在于，所述特征映射單元，進一步用于在發送端本地和網絡數據庫進行所述查詢，在本地查詢到的情況，采用本地的音頻特征映射和視頻特征映射；在網絡數據庫查詢到的情況，從網絡數據庫下載音頻特征映射和視頻特征映射到本地；在本地和網絡數據庫都查詢不到的情況，在本地生成音頻特征映射和視頻特征映射。

5.根據權利要求2所述的系統，其特征在于，所述音頻特征映射由發言者身份和與所述發言者身份對應的音頻特征組成；或者，所述音頻特征映射由身份識別碼和與所述身份識別碼對應的音頻特征組成，所述身份識別碼由發言者身份和會議號形成。

6.根據權利要求2所述的系統，其特征在于，所述視頻特征映射由發言者身份和與所述發言者身份對應的視頻特征組成；或者，所述視頻特征映射由身份識別碼和與所述身份識別碼對應的視頻特征組成，所述身份識別碼由發言者身份和會議號形成。

7.根據權利要求1至6中任一項所述的系統，其特征在于，所述局部動態圖像具體包括：發言者的頭部運動、眼球運動、手勢、輪廓運動中的至少一種軌跡圖像信息。

8.一種低碼流的視頻會議數據傳輸方法，其特征在于，該方法包括：

發送端獲取音頻數據和視頻數據并分別形成音頻特征映射和視頻特征映射，獲取局部動態圖像，傳輸音頻數據和局部動態圖像到接收端；

接收端根據從本端的音頻特征映射和視頻特征映射中提取的音頻特征、視頻特征及接收的所述局部動態圖像整理合成出原始視頻數據并播放音頻數據；

其中，接收端從音頻數據的編碼中提取出發言者身份，在本地或網絡數據庫查詢已經存在的音頻特征映射和視頻特征映射，根據該發言者身份從音頻特征映射中提取出音頻特征，根據該發言者身份從視頻特征映射中提取出視頻特征，采用提取出的視頻特征和接收的局部動態圖像合成還原出原始視頻數據，并結合音頻特征輸出音頻數據和原始視頻數據。