[發明專利]一種網絡傳輸中的多路音視頻的同步播放的方法

有效

• 申請號: 202110478125.5
• 申請日: 2021-04-30
• 公開（公告）號: CN113225597B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 劉政偉;龍圖景
• 申請（專利權）人: 北京凱視達信息技術有限公司
• 主分類號: H04N21/43
• 分類號: H04N21/43;H04N21/437;H04N21/8547
• 代理公司: 重慶百潤洪知識產權代理有限公司 50219
• 代理人: 劉子鈺

本發明涉及一種網絡傳輸中的多路音視頻的同步播放的方法，包括通過在音視頻服務器流分發之前通過IP識別信道并對信道連接的接收端進行時鐘校對和信號時延檢測，保證音視頻服務器在流分發時能夠根據各個信道的時延對時延較小的信道進行延時發送，從而保證各個接收端能夠在同一時間獲得音視頻片段，同時音視頻片段內的時間戳使得音視頻片段在播放時，能夠不停地向音視頻服務器進行時鐘反饋，從而動態地補償信道的延時波動，進一步保證音視頻服務器發送后續音視頻片段，如果出現中斷或者其他意外情況時，也能夠保證各個接收端后續的播放進度一致。

技術領域

本發明涉及音視頻處理技術領域，具體是一種網絡傳輸中的多路音視頻的同步播放的方法。

背景技術

隨著當今互聯網寬帶技術和多媒體信息技術的飛速發展，網絡多媒體應用已經成為internet應用的重要內容。特別是網絡直播教學或者網課教學中，由于涉及到多人之間的交互行為，需要對多路音視頻同時進行播放。此時每一路音視頻都需要同步，否則影響溝通的流暢，但是由于信道的延時，導致各個信號接收終端能夠接收到音視頻信號的時間總是不相同。傳統的音視頻同步技術是將音視頻包各標記一個時間戳，在播放時根據該時間戳來進行同步。這種方式只能工作于一路音頻和一路視頻的情況，在多路音頻和多路視頻的情況下無法正常工作，不能滿足視頻會議這類多人溝通應用對多路音視頻同時進行同步的要求；同時，多路音視頻同步播放后，如果其中一路或者多路中斷后續很難保證同步播放。

發明內容

有鑒于此，本發明的目的是提供一種網絡傳輸中的多路音視頻的同步播放的方法，能夠解決背景技術中的問題。

本發明的一種網絡傳輸中的多路音視頻的同步播放的方法，包括步驟：

(1)音視頻服務器進行流分發前，先發送一個測試數據包，每個接收端接收到測試數據包后立刻返回一個包含本地時鐘信息的返回數據包，音視頻服務器接收到返回數據包，根據發送時間Tt和接收時間Tr確定每個信道的初始時延為n表示不同的信道編號，n為自然數，同時音視頻服務器將各個接收端的本地時鐘信息記錄并進行補充和統一；

(2)發送端將音視頻文件進行分段打包，每段音視頻片段的播放時間為Tb，并在每一段的音視頻片段內加入時間戳，音視頻片段發送至音視頻服務器中進行緩存；

(3)音視頻服務器在T1時準備進行流分發，音視頻服務器按照初始時延對各個信道進行接收時間預算，并根據初始時延對各個信號進行補償，時延最大的信道先發送，然后延時△T后發送至時延較小的信道，接收端接收到音視頻分段后立即開始播放，播放Ts后到達時間戳位置，接收端同時向音視頻服務器返回一個數據包；

(4)音視頻服務器在T2時接收到返回的數據包，音視頻服務器計算各個信道的時延波動為

(5)音視頻服務器根據時延波動對第二段音視頻的播放時間縮短至并發送至對應的信道中，第二段音視頻播放至時間戳位置后同樣返回一個數據包，計算時延波動，音視頻服務器同樣地將第三段音視頻文件在時間軸上進行縮短；

(6)重復上述步驟，直至發送端推流完畢。

進一步地，每個所述音視頻片段的播放時間Tb的范圍為3S-5S。

進一步地，所述時間戳設置在音視頻片段的時間軸的結束之前的1S。

進一步地，所有的從所述接收端返回的數據包均包含本地的時鐘信息，所述步驟(4)中音視頻服務器在接收到通過各個信道返回的數據包后，對各個信道返回的數據包內包含的時鐘信息與初始時鐘進行對比，用于校對和修正時延波動中。

進一步地，所述步驟(5)中音視頻文件在時間軸上進行縮短時，將音頻或者視頻的數字幀之間間距進行等比例等縮短。