[發明專利]音視頻同步方法、裝置、服務器和計算機可讀存儲介質

有效

• 申請號: 202010159616.9
• 申請日: 2020-03-09
• 公開（公告）號: CN111277885B
• 公開（公告）日: 2023-01-10
• 發明（設計）人: 郭志鳴;梁學群
• 申請（專利權）人: 北京世紀好未來教育科技有限公司
• 主分類號: H04N21/43
• 分類號: H04N21/43;H04N21/8547;H04N21/433
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 董艷芳

1.一種音視頻同步方法，其特征在于，所述方法包括：

接收多個發送端的音頻源數據和視頻源數據，并分別緩存在每個發送端對應的音頻緩沖區和視頻緩沖區，其中，所述視頻源數據包括指定數量的幀圖像；

周期性的從每個音頻緩沖區獲取所述多個發送端的第一指定時長的音頻源數據并進行混合，得到音頻混合數據；

將多個所述視頻源數據的當前幀圖像進行合并，得到合并幀圖像，并基于第二指定時長的合并幀圖像確定視頻混合數據；

確定所述音頻混合數據中每個音頻源數據的音頻初始時間戳；

基于每個音頻源數據的所述音頻初始時間戳，判斷所述視頻混合數據中是否存在與同一發送端發送的音頻源數據不同步的視頻源數據；所述第二指定時長與所述第一指定時長相同或不同；

在所述視頻混合數據中存在與所述同一發送端發送的音頻源數據不同步的視頻源數據的情況下，調節與所述視頻源數據不同步的音頻源數據的時延，以使所述音頻混合數據與所述視頻混合數據同步；

將同步的所述音頻混合數據與視頻混合數據進行合并，得到目標混合數據，其中，所述目標混合數據包括目標時間戳；

將所述目標混合數據推送至內容分發網絡CDN，

其中，所述調節與所述視頻源數據不同步的音頻源數據的時延，以使所述音頻混合數據與所述視頻混合數據同步，包括：

在所述音頻源數據快于所述視頻源數據的情況下，通過調整所述音頻緩沖區的長度，增加所述音頻數據源的時延，以使所述音頻混合數據與視頻混合數據同步；

在所述音頻源數據慢于所述視頻源數據的情況下，通過調整所述音頻緩沖區的長度，降低所述音頻數據源的時延，以使所述音頻混合數據與視頻混合數據同步。

2.根據權利要求1所述的方法，其特征在于，所述確定所述音頻混合數據中每個所述音頻源數據的音頻初始時間戳的步驟，包括：

基于當前輸入每個所述音頻緩沖區的所述音頻源數據的當前時間戳和所述音頻緩沖區的長度確定所述音頻混合數據的每個所述音頻源數據的音頻初始時間戳。

3.根據權利要求1所述的方法，其特征在于，每個所述視頻源數據包括視頻初始時間戳；基于每個所述音頻源數據的所述音頻初始時間戳判斷視頻混合數據中是否存在與同一所述發送端發送的所述音頻源數據不同步的所述視頻源數據的步驟，包括：

基于每個所述音頻源數據的所述音頻初始時間戳和每個所述視頻源數據的所述視頻初始時間戳判斷所視頻混合數據中是否存在與同一所述發送端發送的所述音頻源數據不同步的所述視頻源數據。

4.一種音視頻同步裝置，其特征在于，所述裝置包括：

數據接收模塊，用于接收多個發送端的音頻源數據和視頻源數據，并分別緩存在每個所述發送端對應的音頻緩沖區和視頻緩沖區，其中，所述視頻源數據包括指定數量的幀圖像；

音頻混合模塊，用于周期性的從每個所述音頻緩沖區獲取多個所述發送端的第一指定時長的所述音頻源數據并進行混合，得到音頻混合數據；

視頻混合模塊，用于將多個視頻源數據的當前幀圖像進行合并，得到合并幀圖像，并基于第二指定時長的合并幀圖像確定視頻混合數據；

確定模塊，用于確定所述音頻混合數據中每個所述音頻源數據的音頻初始時間戳；

判斷模塊，用于基于每個所述音頻源數據的所述音頻初始時間戳判斷視頻混合數據中是否存在與同一所述發送端發送的所述音頻源數據不同步的所述視頻源數據；所述第二指定時長與所述第一指定時長相同或不同；

同步模塊，用于在所述視頻混合數據中存在與所述同一發送端發送的音頻源數據不同步的視頻源數據的情況下，調節與所述視頻源數據不同步的音頻源數據的時延，以使所述音頻混合數據與所述視頻混合數據同步；

推流模塊，用于將同步的音頻混合數據與視頻混合數據進行合并，得到目標混合數據，并將目標混合數據推送至內容分發網絡CDN，其中，所述目標混合數據包括目標時間戳；

其中，所述同步模塊還用于：

在所述音頻源數據快于所述視頻源數據的情況下，通過調整所述音頻緩沖區的長度，增加所述音頻數據源的時延，以使所述音頻混合數據與視頻混合數據同步；

在所述音頻源數據慢于所述視頻源數據的情況下，通過調整所述音頻緩沖區的長度，降低所述音頻數據源的時延，以使所述音頻混合數據與視頻混合數據同步。