[發明專利]一種基于移動網絡與wifi視頻傳輸增強方法的系統

有效

• 申請號: 202011159735.0
• 申請日: 2020-10-27
• 公開（公告）號: CN112333469B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 陳尚武;李華松;倪仰
• 申請（專利權）人: 杭州敘簡科技股份有限公司
• 主分類號: H04N21/2343
• 分類號: H04N21/2343;H04N21/41;H04N21/431;H04N21/4363;H04N21/4402;H04N21/845;H04N21/8547
• 代理公司: 浙江傳衡律師事務所 33387
• 代理人: 葉衛強

1.一種基于移動網絡與wifi視頻傳輸增強方法的系統，其特征在于，包含視頻源模塊(1)，畫面拆解模塊(2)，分片一編碼模塊(3)，分片二編碼模塊(4)，運動檢測模塊(5)，wifi網絡傳送模塊(6)，移動網絡傳送模塊(7)，網絡接收模塊(8)，網絡打包模塊(9)，分片一解碼模塊(10)，分片二解碼模塊(11)，畫面合并模塊(12)，畫面倍幀模塊(13)，視頻顯示模塊(14)；

視頻源模塊(1)：產生高幀率高分辨率YUV視頻流，每個視頻幀攜帶時戳；

畫面拆解模塊(2)：接收視頻源模塊(1)的YUV視頻流，對高幀率視頻流按照時間先后順序排序，使用奇偶幀進行拆分，得到兩個低幀率的視頻流，奇數幀為分片一視頻流，偶數幀為分片二視頻流，根據人眼對橫向的變化不如縱向敏感，對分片一視頻流與分片二視頻流的每幀YUV視頻流的畫面按列拆分，按照奇數列像素與偶數列像素拆成兩個畫面，每個分片得到低幀率低分辨率的奇偶分塊，把分割得到的視頻流與時戳發送給分片一編碼模塊(3)與分片二編碼模塊(4)；

分片一編碼模塊(3)：接收畫面拆解模塊(2)的分片一視頻流，接收運動檢測模塊(5)畫面是否運動通知，如果畫面不運動，分片一視頻流與分片二視頻流畫面內容相差不大，此時采用分片一與分片二數據互補形成高分辨率策略，分片一編碼模塊(3)去除分片一視頻流偶分塊，對奇分塊進行視頻編碼壓縮，把壓縮視頻流與時戳與合并標識發送給網絡打包模塊(9)，如果畫面運動，分片一視頻流與分片二視頻流畫面內容相差較大，不適合互補提高分辨率，此時采用分片一與分片二數據互補形成高幀率策略，同時保留偶分塊與奇分塊信息，對視頻流偶分塊與視頻流奇分塊的每個對應像素進行線性插值，得到線性插值的分塊，對視頻編碼壓縮，把壓縮視頻流與時戳與倍幀標識發送給網絡打包模塊(9)；

分片二編碼模塊(4)：接收畫面拆解模塊(2)的分片一視頻流，接收運動檢測模塊(5)畫面是否運動通知，如果畫面不運動，分片一視頻流與分片二視頻流畫面內容相差不大，此時采用分片一與分片二數據互補形成高分辨率策略，分片一編碼模塊(3 )去除分片一視頻流奇分塊，對偶分塊進行視頻編碼壓縮，把壓縮視頻流與時戳與合并標識發送給網絡打包模塊(9)；如果畫面運動，分片一視頻流與分片二視頻流畫面內容相差較大，此時采用分片一與分片二數據互補形成高幀率策略，同時保留偶分塊與奇分塊信息，對視頻流偶分塊與視頻流奇分塊的每個對應像素進行線性插值，得到線性插值的分塊，對視頻編碼壓縮，把壓縮視頻流與時戳與倍幀標識發送給網絡打包模塊(9)；

運動檢測模塊(5)：接收視頻源模塊(1)的YUV視頻流，對前后兩幀的每個明度Y像素數據進行每個相減，相減值的絕對值大于閾值則該像素運動，把所以運動像素從圖像提取中的運動區域，運動區域除以圖像的面積得到運動系數,如果運動系數小于閾值則認為畫面不運動，否則認為畫面運動；把畫面不運動與畫面運動通知發送給分片一編碼模塊(3)與分片二編碼模塊(4 )；

wifi網絡傳送模塊(6)：接收網絡打包模塊(9)的視頻流，使用wifi傳送網絡把視頻壓縮流通過wifi網絡發送給網絡接收模塊(8)；

移動網絡傳送模塊(7)：接收網絡打包模塊(9)的視頻流，使用移動傳送網絡把視頻壓縮流通過移動網絡發送給網絡接收模塊(8)；

網絡接收模塊(8)：接收wifi網絡傳送模塊(6)與移動網絡傳送模塊(7)發送視頻網絡流；把分片一的視頻流發送給分片一解碼模塊(10)，把分片二的視頻流發送給分片二解碼模塊(11)；

網絡打包模塊(9)：接收分片一編碼模塊(3)與分片二編碼模塊(4)視頻流，對視頻流進行RTP打包，把時戳打入RTP頭，把倍幀標識或合并標識打入RTP的附加數據中；網絡打包模塊(9)把分片一視頻流發給wifi網絡傳送模塊(6)，把分片二視頻流發給移動網絡傳送模塊(7)；

分片一解碼模塊(10)：接收網絡接收模塊(8)的分片一的視頻流，去除RTP頭取出視頻流的幀壓縮數據，取出RTP的時戳作為幀的時戳，在RTP的附加數據取出倍幀標識或合并標識，對幀壓縮數據進行視頻解碼得到分片一的YUV圖像數據；存在倍幀標識，則把分片一的YUV圖像數據與時戳發給畫面倍幀模塊(13)；存在合并標識則把分片一的YUV圖像數據與時戳發給畫面合并模塊(12)；

分片二解碼模塊(11)：接收網絡接收模塊(8)的分片二的視頻流，去除RTP頭取出視頻流的幀壓縮數據，取出RTP的時戳作為幀的時戳，在RTP的附加數據取出倍幀標識或合并標識，對幀壓縮數據進行視頻解碼得到分片二的YUV圖像數據；存在倍幀標識，則把分片二的YUV圖像數據與時戳發給畫面倍幀模塊(13)；存在合并標識則把分片二的YUV圖像數據與時戳發給畫面合并模塊(12)；

畫面合并模塊(12)：接收分片一解碼模塊(10)的分片一的YUV圖像數據與時戳，接收分片二解碼模塊(11)的分片二的YUV圖像數據與時戳；把YUV圖像數據按照時戳進行排序，如果分片一的YUV圖像數據與分片二的YUV圖像數據沒有丟失，分片一的YUV圖像數據與分片二的YUV圖像數據為交錯，把相鄰分片一的YUV圖像數據與分片二的YUV圖像數據進行合并，分片一的YUV圖像數據放在奇數列，分片二的YUV圖像數據放在偶數列，最終得到高分辨率圖像數據；如果分片一的YUV圖像數據與分片二的YUV圖像數據丟失一份數據，這YUV圖像數據進行橫向插值，YUV相鄰列的每個像素的進行線性插值，得到新列插入兩個相鄰列間，最后兩列按照線性插值除了生成中間列，再生成右側列，作為生成圖像最后一列，這仍然還原出有限失真的高分辨率圖像數據；采用WiFi與移動網絡兩個通道同時傳輸互為殘差視頻，當一個通道出問題時，本方法仍然能恢復出一個有限失真的視頻圖像，當兩個通道都正常工作時，則得到高分辨率圖像數據；把生成圖像數據發送給視頻顯示模塊(14)；

畫面倍幀模塊(13)：接收分片一解碼模塊(10)的分片一的YUV圖像數據與時戳，接收分片二解碼模塊(11)的分片二的YUV圖像數據與時戳；把YUV圖像數據按照時戳進行排序，對YUV圖像數據進行橫向插值，YUV相鄰列的每個像素的進行線性插值，得到新列插入兩個相鄰列間，最后兩列按照線性插值除了生成中間列，再生成右側列，作為生成圖像最后一列，通過圖像拉伸還原出高分辨率圖像數據；采用WiFi與移動網絡兩個通道同時傳輸視頻數據，當一個通道出問題時，得到低幀率視頻圖像，當兩個通道都正常工作時，則得到高幀率的圖像數據；生成YUV圖像數據發送給視頻顯示模塊(14)；

視頻顯示模塊(14)：接收畫面合并模塊(12)的YUV圖像數據渲染顯示，接收畫面倍幀模塊(13)的YUV圖像數據渲染顯示；當視頻源模塊(1)的圖像處于靜止狀態，使用Wi Fi與移動網絡兩個通道同時傳輸互為殘差視頻，共同輸出高分辨率圖像，當視頻源模塊(1)的圖像處于運動狀態，使用WiFi與移動網絡兩個通道同時傳輸間隔獨立視頻圖像，共同輸出高幀率視頻圖像。