[發明專利]音視頻同步方法、裝置、服務器和計算機可讀存儲介質

有效

• 申請號: 202010159616.9
• 申請日: 2020-03-09
• 公開（公告）號: CN111277885B
• 公開（公告）日: 2023-01-10
• 發明（設計）人: 郭志鳴;梁學群
• 申請（專利權）人: 北京世紀好未來教育科技有限公司
• 主分類號: H04N21/43
• 分類號: H04N21/43;H04N21/8547;H04N21/433
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 董艷芳

本發明提供了一種音視頻同步方法、裝置、服務器和計算機可讀存儲介質，涉及多屏數據處理技術領域，包括將多個發送端的音頻源數據和視頻源數據分別緩存在每個發送端對應的音頻緩沖區和視頻緩沖區；周期性的從每個音頻緩沖區獲取多個發送端的第一指定時長的音頻源數據進行混合，得到音頻混合數據；確定音頻混合數據中每個音頻源數據的音頻初始時間戳；基于每個音頻源數據的音頻初始時間戳判斷視頻混合數據中是否存在與同一發送端發送的音頻源數據不同步的視頻源數據；如果是，調節與視頻源數據不同步的音頻源數據的時延，以使音頻混合數據與視頻混合數據同步。本發明可以保證在多人連麥的情況下音視頻數據保持同步，提升了用戶體驗。

技術領域

本發明涉及多屏數據處理技術領域，尤其是涉及一種音視頻同步方法、裝置、服務器和計算機可讀存儲介質。

背景技術

目前，多屏業務在工作、社交、娛樂等方面均具有越來越多的應用，但當網絡不穩定時會導致網絡丟包率較高，傳輸控制協議(Transmission Control Protocol，TCP)的傳輸質量嚴重下降，重傳擁塞導致音視頻延時非常大，在無線信道下，易出現音視頻長時間卡住不動然后快放的現象，效率低，占用系統資源高。諸如，在當前的直播多人連麥情況下，由于用戶數據報文協議(UserDatagram Protocol，UDP)不能對所傳數據提供擔保，導致出現音視頻數據不同步的現象。

針對上述由于音視頻時延大導致音視頻數據不同步的現象，目前尚未提出有效的解決方案。

發明內容

本發明的目的在于提供一種音視頻同步方法、裝置、服務器和計算機可讀存儲介質，可以保證在多人連麥的情況下音視頻數據保持同步，提升了用戶體驗。

第一方面，實施例提供一種音視頻同步方法，所述方法包括：接收多個發送端的音頻源數據和視頻源數據，并分別緩存在每個所述發送端對應的音頻緩沖區和視頻緩沖區；周期性的從每個所述音頻緩沖區獲取多個所述發送端的第一指定時長的所述音頻源數據并進行混合，得到音頻混合數據；確定所述音頻混合數據中每個所述音頻源數據的音頻初始時間戳；基于每個所述音頻源數據的所述音頻初始時間戳判斷視頻混合數據中是否存在與同一所述發送端發送的所述音頻源數據不同步的所述視頻源數據；其中，所述視頻混合數據為周期性的從每個所述視頻緩沖區獲取所述多個發送端的第二指定時長的所述視頻源數據并進行混合得到的；如果是，調節與所述視頻源數據不同步的所述音頻源數據的時延，以使所述音頻混合數據與視頻混合數據同步。

在可選的實施方式中，所述方法還包括：將同步的所述音頻混合數據與視頻混合數據進行合并，得到目標混合數據；所述目標混合數據包括目標時間戳；將所述目標混合數據推送至內容分發網絡CDN。

在可選的實施方式中，所述確定所述音頻混合數據中每個所述音頻源數據的音頻初始時間戳的步驟，包括：基于當前輸入每個所述音頻緩沖區的所述音頻源數據的當前時間戳和所述音頻緩沖區的長度確定所述音頻混合數據的每個所述音頻源數據的音頻初始時間戳。

在可選的實施方式中，所述視頻源數據包括指定數量的幀圖像；所述方法還包括：將多個所述視頻源數據的當前幀圖像進行合并，得到合并幀圖像；基于所述第二指定時長的所述合并幀圖像確定所述視頻混合數據。

在可選的實施方式中，每個所述視頻源數據包括視頻初始時間戳；基于每個所述音頻源數據的所述音頻初始時間戳判斷視頻混合數據中是否存在與同一所述發送端發送的所述音頻源數據不同步的所述視頻源數據的步驟，包括：基于每個所述音頻源數據的所述音頻初始時間戳和每個所述視頻源數據的所述視頻初始時間戳判斷所視頻混合數據中是否存在與同一所述發送端發送的所述音頻源數據不同步的所述視頻源數據。