[發明專利]移動媒體間實時視頻音頻高精度同步平臺

在審

• 申請號: 202110379906.9
• 申請日: 2021-04-08
• 公開（公告）號: CN113115080A
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 劉文平;王程
• 申請（專利權）人: 劉文平
• 主分類號: H04N21/242
• 分類號: H04N21/242;H04N21/43;H04N21/6437;H04N21/8547
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.移動媒體間實時視頻音頻高精度同步平臺，其特征在于，采用間隔對比時間戳的方式，分別在視頻音頻幀時間戳對比的時間和次數上進行改進，采用在發送端使視頻音頻包同步發送，到達接收端的數據包進行解包、組幀、解碼后傳入所設置的二級緩存區，視頻音頻幀在二級緩沖區內每收到一個RTCP包，就根據時間戳對NTP時間戳，RTP時間戳找到相同時間戳的視頻音頻幀，進行完全同步，其后按照視頻音頻原有的采樣速率順序播放，針對時間戳對比次數過多的弊端，采用間隔一定幀數的音頻幀進行一次同步檢測，如果時間戳差值在同步范圍內，則繼續正常播放，否則分別基于視頻超前音頻或滯后音頻，進行快速定位比對時間戳，使之達到同步允許的范圍，然后同步播放；

針對視頻音頻時間戳的對比和丟包解決視頻音頻媒體間的同步問題，為避免在播放后續的視頻幀時，視頻幀的丟包導致重復播放上一個視頻幀的次數過多，接收端在檢測到視頻幀有連續丟掉3幀，即連續丟包數量n＞12的現象時，通過RR包反饋給發送端，發送端再來調整發送速率，從根本上改善后續視頻幀連續丟包現象；

針對如果視頻幀的丟包率較小，很可能因為新視頻幀的到達也符合同步范圍，而播放下一個的視頻幀的弊端，本發明根據RTCP包，使第一個音頻幀與相同時間戳的視頻幀同步播放后，音頻和視頻均按各自的采樣頻率正常播放，在間隔播放幾幀音頻后，視頻幀再與音頻幀的時間戳進行對比，調整同步；

針對如果視頻幀的丟包率較大，那么視頻幀為了達到同步，與音頻幀時間戳的對比次數會明顯增多的弊端，本發明分別對視頻音頻間丟包的情況采取不同的改進：

第一，視頻存在丟包時，會發生視頻超前于音頻的現象，本發明采用跳過前半段的比對，直接從后半段開始依次比較，計算出失步狀況下視頻音頻在NTP時間軸上相隔多少個視頻幀，直接跳到同步可能性大的音頻幀去進行比較，減少對比的時間次數；

第二，音頻存在丟包時，會發生視頻滯后于音頻的現象，本發明通過計算出視頻滯后于音頻的幀數，再直接跳過相應的視頻滯后幀數，達到同步。

2.根據權利要求1所述的移動媒體間實時視頻音頻高精度同步平臺，其特征在于，視頻音頻包同步發送方法：為了使同一時刻采集的視頻音頻數據能夠同步發送，本發明給同一時刻采集的視頻音頻數據幀打上相應的時間戳，同時將這個時刻視頻音頻的時間戳和NTP時間戳信息分別封裝到RTCP包里，在發送時對應視頻音頻包的時間戳信息來同步發送，間隔發送RTCP包，一幀的媒體數據包有一個時間戳，視頻數據在分片分包的情況下，多個分片包有相同的一個時間戳，采用AMR壓縮方式的音頻，采樣頻率為8000Hz，幀率是每幀20毫秒，那么時間戳增量為：8000*0.02＝160；采用H264壓縮方式的視頻，采用頻率為90000Hz，在幀率為10fps，即100毫秒一幀的情況下，時間戳增量為：90000*0.1＝9000，幀率為20fps和25fps時，時間戳增量分別為4500和3600，同一時間所采集的視頻音頻幀的時間戳對應關系為音頻是20ms一幀，視頻幀率分別是10fps、20fps、25fps時的對應關系；

根據音頻幀和視頻幀對應的時間關系，得出在視頻碼率選擇為10fps時，1個視頻幀對應5個音頻幀；碼率為20fps時，2個視頻幀對應5個音頻幀；碼率為25fps時，1個視頻幀對應2個音頻幀，而發送端會分別為視頻音頻包設置一定的緩存用于數據包的發送，在最開始發送視頻音頻數據包時，在發送端的緩存區中參照這個對應關系進行發送，保證視頻音頻包在發送端的媒體間同步，使前期網絡狀況好的情況下，以較小的開銷使音頻媒體間在接收端達到同步。