[發明專利]一種基于多終端協同的視頻上行鏈路傳輸方法

有效

• 申請號: 201410371815.0
• 申請日: 2014-07-31
• 公開（公告）號: CN104320716B
• 公開（公告）日: 2017-07-07
• 發明（設計）人: 朱曉榮;張飛陽;羅小琴;楊龍祥;朱洪波
• 申請（專利權）人: 南京郵電大學
• 主分類號: H04N21/647
• 分類號: H04N21/647;H04N21/234;H04N21/238;H04N21/438
• 代理公司: 江蘇愛信律師事務所32241
• 代理人: 唐小紅

1.一種基于多終端協同的視頻上行鏈路傳輸方法，其特征在于，該方法包括視頻服務器端和視頻客戶播放端以下步驟：

視頻服務器端：

1)視頻源提供模塊：監聽網絡連接管理模塊發出的新視頻幀請求，提供原始的視頻畫面，供給視頻編碼模塊用于編碼；

2)視頻編碼模塊：接收來自視頻源提供模塊的原始視頻幀，進行H.264編碼后發往終端連接調度模塊準備傳輸；

3)終端連接調度模塊：監聽協同終端的接入，接收來自視頻編碼模塊的編碼幀，進行分流決策，選擇一路合適的終端連接存入對應緩沖區等待發送，當幀傳輸完畢，向視頻源提供模塊發起新的視頻幀請求；

視頻服務器端所述步驟2)和步驟3)中，終端連接調度模塊由以下四部分構成：(1)新連接監聽器(2)分流決策器(3)連接維護與緩存管理器(4)數據傳輸器；具體流程為：

a)新連接監聽器打開一個端口作為業務數據傳輸端口并監聽，當有新的協同終端接入后，將該連接的套接字發給連接維護與緩存管理器進行管理；

b)分流決策器接收視頻編碼模塊發來的已編碼視頻幀，并向連接維護與緩存管理器請求各連接的套接字已緩存的數據量，選擇緩存量最小的一個連接，將視頻幀發給連接維護與緩存管理器，請求其將該幀加入剛選出的連接的緩存區；

c)連接維護與緩存管理器管理所有的連接及其對應的視頻幀緩存區，接受來自分流決策器的查詢請求，接受來自新連接監聽器的新連接接入，向數據傳輸器提供欲發送的視頻數據；

d)數據傳輸器負責將各連接緩存中的數據發送出去，數據傳輸器定時查詢連接維護與緩存管理器的各連接緩存狀況，當有連接的緩存不為空時，將該連接的緩存數據通過其對應套接字發送出去；

視頻客戶播放端：

1)終端連接調度模塊：監聽協同終端的接入，接受各路連接的數據并緩存，排序并拼接收到的數據包，當獲取到完整的一幀后，將視頻幀發給幀管理模塊；

2)幀管理模塊：接受來自終端連接調度模塊的完整視頻幀，將緩存的視頻幀按幀時間戳進行排序、當收到視頻播放模塊的新幀請求時提供新視頻幀給視頻解碼模塊，根據已緩存的視頻幀數量進行吞吐量判決、并向網絡管理控制服務器發起調整協同策略請求；

3)視頻解碼模塊：接受來自幀管理模塊的編碼視頻幀，進行H.264解碼后發往視頻播放模塊準備播放；

4)視頻播放模塊：按照視頻幀率定時向幀管理模塊請求新視頻幀，并接收來自視頻解碼模塊解碼后的視頻幀進行播放。

2.根據權利要求1所述的一種基于多終端協同的視頻上行鏈路傳輸方法，其特征在于，視頻客戶播放端所述步驟1)中，終端連接調度模塊由以下三部分構成：(1)新連接監聽器(2)連接維護與緩存管理器(3)數據傳輸器；具體流程如下：

a)新連接監聽器打開一個端口作為業務數據傳輸端口并監聽，當有新的協同終端接入后，將該連接的套接字發給連接維護與緩存管理器進行管理；b)連接維護與緩存管理器管理所有的連接及其對應的視頻幀緩存區，接受來自新連接監聽器的新連接接入，接收數據傳輸器提供的已連接的各路協同終端的視頻數據并采用一個隊列進行緩存，定期檢查緩存隊列，當檢測到一幀視頻的全部數據包都接收到后，將該幀提供給幀管理模塊；c)數據傳輸器負責處理接收各連接套接字接收的視頻數據，并將數據發送給連接維護與緩存管理器進行排序、合并處理。

3.根據權利要求2所述的基于多終端協同的視頻上行鏈路傳輸方法，其特征在于，視頻客戶播放端所述步驟2)中，幀管理模塊由以下三部分構成：(1)幀緩存隊列(2)傳輸控制決策器(3)幀播放管理器；具體流程如下：

a)幀緩存隊列接收來自終端連接調度模塊的完整視頻幀，將幀按時間戳順序存放在隊列中，并接收傳輸控制決策器和幀播放管理器的幀長度查詢請求和新視頻幀請求；為防止緩存幀數過多導致隊列訪問開銷過大，為隊列設定緩存容量上限＝500，當隊列長度達到上限時，將不再接收新的視頻幀，并阻塞終端連接調度模塊使其停止從各連接上接收數據；

b)幀播放管理器用于接收視頻播放模塊的新幀請求并向視頻解碼模塊提供視頻幀；幀播放管理器設置兩個幀緩存隊列長度門限A＝60，B＝90用于判決是否需要等待緩沖；當一幀播放完畢后，視頻播放模塊會向幀播放管理器請求新幀，這時幀播放管理器向幀緩存隊列請求隊列長度；當長度小于門限A時，設置狀態為緩沖中，這時將會阻塞視頻解碼模塊使視頻播放暫停等待緩沖；當長度大于門限B時，設置狀態為播放中，這時將向幀緩存隊列請求需要播放的下一幀傳送給視頻解碼模塊供解碼播放；

c)傳輸控制決策器定時判斷幀緩存隊列長度，并設置兩個門限A＝150，B＝300用于傳輸控制調整判決；當視頻幀數低于門限A時，判定為吞吐量不能滿足業務需求，向網絡管理控制服務器發送調整增加吞吐量請求，然后將傳輸控制決策器休眠10秒等待自適應調整后再進行下一次的判決；當視頻幀數高于門限B時，判定為吞吐量超出需求，向網絡管理控制服務器發送調整減少吞吐量請求，然后將傳輸控制決策器休眠10秒等待自適應調整后再進行下一次的判決。