[發明專利]移動媒體間實時視頻音頻高精度同步平臺

在審

• 申請號: 202110379906.9
• 申請日: 2021-04-08
• 公開（公告）號: CN113115080A
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 劉文平;王程
• 申請（專利權）人: 劉文平
• 主分類號: H04N21/242
• 分類號: H04N21/242;H04N21/43;H04N21/6437;H04N21/8547
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明指出現有技術的視頻音頻發包策略中，并沒有對視頻音頻包的同步發送進行有效的控制，采用根據視頻音頻包間的對應關系來同步發送媒體包，在發送端達到了視頻音頻媒體間的同步，通過分析在接收端利用RTCP包提供的時間戳對進行視頻音頻的同步，以及基于音頻時間戳同步控制播放的傳統方法中時間戳同步技術的特點及不足，針對安卓設備性能的局限性，采用間隔對比時間戳的方式，分別在視頻音頻幀時間戳對比的時間和次數上進行改進，本發明提出的安卓實時視頻音頻同步策略，極大的改善了用戶體驗，有利于推動移動終端上實時視頻音頻同步的發展，對于移動端實時視頻音頻的發展有著重大的實際意義和應用價值。

技術領域

本發明涉及一種實時視頻音頻高精度同步平臺，特別涉及一種移動媒體間實時視頻音頻高精度同步平臺，屬于實時視頻音頻同步技術領域。

背景技術

伴隨網絡通信技術的快速發展，移動終端特別是智能手機大量普及，單一的文字圖片的交流方式已不能滿足需求，視頻音頻多媒體通信方式已融入人們的生活，它使得面對面的交流不再受地域的限制，同時也提高了工作效率，極大的降低了成本，已經與人們的日常生活密不可分，如在視頻教學、視頻會議、視頻監控、游戲視頻、協同工作等領域。隨著移動設備的普及，高速數字網絡的大面積建設，人們已經可以更加便捷簡單的接入互聯網，隨時隨地的利用手機等移動設備進行交流，而無線通信技術日益成熟，視頻音頻壓縮編碼也極大的降低了對網絡帶寬的需求，這些都極大的推動了移動多媒體視頻音頻通信的發展。

人們對視頻音頻通信質量的要求也隨之越來越高，尤其是無線移動場景下對實時視頻音頻質量的要求，對于移動視頻音頻媒體數據流，除了要求傳輸的實時性，更要求播放時的視頻音頻質量高、各個媒體流的同步性好，延時和延時抖動小。但多年以來，對于實時視頻音頻同步的研發和應用還集中在專業的視頻設備和PC端，而傳統的視頻音頻傳輸及同步一般是在固定設備和場合下進行，有著視頻設備成本高、移動不方便、限制多的弊端。而隨著移動網絡技術的發展和智能手機的普及，移動端的視頻音頻同步正好有著便攜性、成本低等特點。

在復雜的無線網絡環境下，多媒體數據的丟包現象又可能是因為無線丟包或擁塞丟包所造成的，不能完全采取原來PC端上發送視頻音頻丟包情況時，統一通過改變發送速率來對流量和擁塞進行控制。現有技術對RTP/RTCP的視頻音頻同步策略主要是通過在接收端對已經丟包的現象，視頻幀采取重復或丟棄的方式，使之恢復媒體間的同步，但在視頻幀嚴重滯后的時，還是不能達到同步效果。后來又提出了一種安卓視頻會議播放器，采用SIP視頻協議標準，但在網絡不穩定的情況下，音頻播放正常，視頻并不能實現同步。

播放終端用戶都希望盡可能的看到高質量的多媒體流，但由于復雜的網絡傳輸環境，發送端并不能完全保證數據順序準確、無誤的交付給接收端，網絡拓撲結構不同或無線環境信號不穩定等原因都會造成時延或時延抖動，導致媒體流在接收端播放時因丟包、掉幀、延時等原因而播放不平滑，乃至視頻音頻流不同步，影響視頻音頻同步的因素包括：

一是發送端處理數據偏差，發送端在采樣完視頻音頻流后，進行編碼打包，但由于音頻和視頻的采樣頻率和數據量不同，壓縮編碼的算法復雜度也不同，造成在發送時產生了時間差，引起了不同步，現有技術的解決辦法主要是嚴格控制發送端上視頻音頻幀的發送，同一時刻采集的視頻音頻幀同時打上相同的時間戳，并且同時發送具有相同時間戳的視頻音頻幀，在網絡條件好的情況下，能夠對接收端的同步起到作用，但在時延抖動嚴重時，單純依靠該方法難以起到較好的同步；

二是時延和時延抖動，時延是從發送端到接收端，數據單元所經歷的時間長度，由于傳輸網絡環境不穩定，導致時延的不恒定，產生了時延抖動，時延抖動反映了時延的變化程度，在發生網絡擁塞時，單個媒體流可能并不能以連續流的形式在網絡中傳輸，這將導致各個媒體單元之間到達接收端的時間間隔不均等，同時媒體流間原本的時間關聯可能也被打亂顛倒，造成不同步；