[發明專利]一種音視頻自動同步方法及同步系統

在審

• 申請號: 201910190426.0
• 申請日: 2019-03-13
• 公開（公告）號: CN109862384A
• 公開（公告）日: 2019-06-07
• 發明（設計）人: 王永衛;劉宏宇;傅智博;盧光銳;李萬吉;彭玉濤;季興華;袁家劼
• 申請（專利權）人: 北京河馬能量體育科技有限公司
• 主分類號: H04N21/2187
• 分類號: H04N21/2187;H04N21/233;H04N21/234;H04N21/2343;H04N21/242;H04N21/43;H04N21/439;H04N21/44;H04N21/4402;H04N21/8547
• 代理公司: 北京力量專利代理事務所(特殊普通合伙) 11504
• 代理人: 王鴻遠

1.一種音視頻自動同步方法，用于網絡直播，其特征在于，包括以下步驟：

接收音頻流和視頻流，其中，音頻流包括多個帶有時間戳的音頻幀，視頻流包括多個帶有時間戳的視頻幀，視頻幀包括關鍵幀和非關鍵幀；

從視頻流中提取關鍵幀；

對關鍵幀進行編碼，判斷該關鍵幀是否編碼成功，若是，則選取該關鍵幀作為初始幀；

以初始幀為音視頻同步起點，根據時間戳使視頻幀與音頻幀自動一一對應；

對一一對應的視頻幀與音頻幀進行編碼，以對視頻幀與音頻幀進行同步推流。

2.根據權利要求1所述的音視頻自動同步方法，其特征在于，在以初始幀為音視頻同步起點，根據時間戳使視頻幀與音頻幀自動一一對應之后，還包括：丟棄初始幀時間戳前的音頻流和視頻流。

3.根據權利要求2所述的音視頻自動同步方法，其特征在于，還包括：若從視頻流中提取的關鍵幀編碼不成功，則重新從視頻流中提取關鍵幀，直到關鍵幀編碼成功，才選取該關鍵幀作為初始幀。

4.根據權利要求3所述的音視頻自動同步方法，其特征在于，還包括：當對一一對應的視頻幀與音頻幀進行編碼，以對視頻幀與音頻幀進行同步推流時，若視頻幀編碼不成功，則直接丟棄該視頻幀，并丟棄與該視頻幀對應的音頻幀。

5.根據權利要求4所述的音視頻自動同步方法，其特征在于，還包括：對一一對應的視頻幀與音頻幀進行編碼，以對視頻幀與音頻幀進行同步推流時，若音頻幀編碼不成功，則丟棄該音頻幀，僅對與該音頻幀對應的視頻幀進行推流。

6.根據權利要求1所述的音視頻自動同步方法，其特征在于，還包括：當推流時間延長時，對音頻幀和視頻幀的時間戳加延時值，使音頻幀和視頻幀的時間戳與推流時間一致。

7.根據權利要求1所述的音視頻自動同步方法，其特征在于，還包括：當對音頻幀和視頻幀進行處理時，時間戳不變。

8.一種音視頻自動同步系統，用于網絡直播，其特征在于，包括：

音視頻流接收模塊，用于接收音頻流和視頻流，其中，音頻流包括多個帶有時間戳的音頻幀，視頻流包括多個視頻幀，視頻幀包括帶有時間戳的關鍵幀和帶有時間戳的非關鍵幀；

關鍵幀提取模塊，用于從視頻流中提取關鍵幀；

初始幀選取模塊，用于對關鍵幀進行編碼，判斷該關鍵幀是否編碼成功，若是，則選取該關鍵幀作為初始幀；

音視頻同步模塊，用于以初始幀為音視頻同步起點，根據時間戳使視頻幀與音頻幀自動一一對應，

音視頻編碼模塊，用于對一一對應的視頻幀與音頻幀進行編碼，以對視頻幀與音頻幀進行同步推流。

9.根據權利要求8所述的音視頻自動同步系統，其特征在于，還包括：音視頻同步模塊，還用于在以初始幀為音視頻同步起點，根據時間戳使視頻幀與音頻幀自動一一對應之后，丟棄初始幀時間戳前的音頻流和視頻流。

10.根據權利要求9所述的音視頻自動同步系統，其特征在于，關鍵幀提取模塊，還用于若從視頻流中提取的關鍵幀編碼不成功，則重新從視頻流中提取關鍵幀，直到關鍵幀編碼成功，才選取該關鍵幀作為初始幀。