[發(fā)明專利]可視電話發(fā)送端的視頻幀流控制方法

有效

• 申請?zhí)枺?/td>: 200910045735.5
• 申請日: 2009-02-03
• 公開（公告）號: CN101795386A
• 公開（公告）日: 2010-08-04
• 發(fā)明（設(shè)計）人: 鄭勇平;麥華峰;蔡世光
• 申請（專利權(quán)）人: 英華達(上海)電子有限公司
• 主分類號: H04N7/14
• 分類號: H04N7/14;H04N7/24;H04N7/62;H04L29/06
• 代理公司: 上海翼勝專利商標事務(wù)所(普通合伙) 31218
• 代理人: 翟羽

技術(shù)領(lǐng)域

本發(fā)明涉及一種可視電話的視頻傳輸方法，尤其是涉及一種可視電話發(fā)送端的視頻 幀流控制方法。

背景技術(shù)

隨著3G網(wǎng)絡(luò)的普及，具備視頻電話功能的3G手機開始被越來越多的用戶所青 睞，因其不僅為用戶提供了傳統(tǒng)的音頻電話體驗，更能通過即時的視頻圖像來增加用戶 的視覺體驗，從而大大增加了用戶的使用樂趣。

但目前使用的視頻電話在通話時主要存在視頻延時的問題，原因是多方面的：有網(wǎng) 絡(luò)延時因素，有視頻幀的本地捕獲壓后處理以及發(fā)送的延時等等。網(wǎng)絡(luò)延時將會隨著 3G網(wǎng)絡(luò)的性能提升得到有效的解決。本地視頻幀數(shù)據(jù)的處理延時主要是由于本地視頻 幀數(shù)據(jù)在捕獲后需要經(jīng)過壓縮和3G-324M的H.223復接協(xié)議復接后才能由無限網(wǎng)絡(luò)發(fā) 送出去。

在視頻電話的通信過程中，每個終端設(shè)備應(yīng)用程序既是發(fā)送端也是接收端，需要發(fā) 送本方的視頻和音頻數(shù)據(jù)給對方，同時也需要將對方的視頻和音頻數(shù)據(jù)接收后顯示和播 放。對應(yīng)發(fā)送端視頻數(shù)據(jù)首先由系統(tǒng)設(shè)定視頻設(shè)備幀取樣頻率。目前針對64K帶寬的視 頻電話取樣頻率設(shè)定上限一般為每秒15幀左右。對攝像頭捕獲的視頻幀數(shù)據(jù)首先經(jīng)過 壓縮處理并經(jīng)過3G-324M的H.223復接協(xié)議將視頻和音頻數(shù)據(jù)進行復接為二進制流數(shù) 據(jù)。

圖5所示為現(xiàn)有的可視電話發(fā)送端應(yīng)用程序?qū)σ粢曨l數(shù)據(jù)的處理流程。

可視電話呼叫接通后，首先進行的是3G-324M層的握手動作。在完成協(xié)議層的握 手動作后，如果雙方對視頻電話的協(xié)商成功，雙方系統(tǒng)的發(fā)送端將進入圖3的處理流 程。該流程包括以下步驟：由麥克風捕獲音頻數(shù)據(jù)100，對麥克風捕獲的音頻數(shù)據(jù)進行 壓縮處理110；由攝像頭捕獲視頻幀數(shù)據(jù)200，將攝像頭捕獲的視頻幀數(shù)據(jù)進行壓縮處 理220；基于3G-324M的H.223協(xié)議復接視頻和音頻數(shù)據(jù)流300；將復接數(shù)據(jù)流通過 無線網(wǎng)絡(luò)發(fā)送310。

通過上述流程，音視頻數(shù)據(jù)經(jīng)過各自的硬件設(shè)備捕獲數(shù)據(jù)，并根據(jù)之前的握手協(xié)商 結(jié)構(gòu)進行各自格式的數(shù)據(jù)壓縮處理，之后經(jīng)過3G-324M協(xié)議的子協(xié)議H.223復接為單 一的二進制數(shù)據(jù)流，最后經(jīng)過無線網(wǎng)絡(luò)設(shè)備發(fā)送到對方。

接收端的處理流程是一個反向的過程。接收端首先對接受到的二進制數(shù)據(jù)流進行 H.223協(xié)議的分接處理，將其分解為音頻和視頻數(shù)據(jù)，并各自完成解壓送到相應(yīng)的硬件 播放和顯示。

由于目前的視頻電話帶寬固定工作在電路域的64K帶寬之中，攝像頭視頻幀的采集 頻率在設(shè)定上限后一般會隨著系統(tǒng)負荷的變化而呈現(xiàn)浮動。為此，單位時間內(nèi)捕獲的視 頻幀將是不固定的。常常會出現(xiàn)系統(tǒng)負載較大時從攝像頭采集的數(shù)據(jù)無法及時地被壓縮 以及進行H.223復接。這將導致復接后的數(shù)據(jù)大量地滯留在發(fā)送隊列中，從而導致接收 端視頻幀的延時到達。其結(jié)果是使得視頻幀和音頻的傳輸不同步，影響了可視電話的使 用效果。

以下對視頻延時的原因作簡單的分析。

每一幀視頻的處理過程包括兩個階段：獲取視頻數(shù)據(jù)階段和數(shù)據(jù)發(fā)送階段。獲取視 頻數(shù)據(jù)階段又分為視頻幀獲取階段和視頻幀壓縮階段。攝像頭以預定時間間隔(例如在 每秒15幀的情況下，每幀的間隔時間大約為為0.067秒)獲取一幀視頻，然后對獲得的 視頻幀進行壓縮，獲得壓縮后的視頻幀數(shù)據(jù)，此為獲取視頻數(shù)據(jù)階段。然后將壓縮后的 視頻幀數(shù)據(jù)通過無線網(wǎng)絡(luò)發(fā)送。

因此，在一幀視頻幀數(shù)據(jù)壓縮完成后，立刻就進行該幀視頻數(shù)據(jù)的發(fā)送。即，正常 情況下，第1幀視頻數(shù)據(jù)壓縮完成時，進行第1幀視頻數(shù)據(jù)的發(fā)送；第2幀視頻數(shù)據(jù)壓 縮完成時，第1幀視頻數(shù)據(jù)的發(fā)送已經(jīng)完成，此時可以進行第2幀視頻數(shù)據(jù)的發(fā)送，以 此類推。

參看圖4，每隔規(guī)定時間t，攝像頭依次獲取一幀視頻圖像F1、F2、F3、...、F8； 每幀視頻圖像被壓縮完成的時間依次為C1、C2、C3、...、C8；并且發(fā)送每幀視頻圖像 的時間依次為S1、S2、S3...、S8。