[發明專利]音視頻同步的檢測方法、裝置、設備及存儲介質

有效

• 申請號: 201910526070.3
• 申請日: 2019-06-18
• 公開（公告）號: CN110267083B
• 公開（公告）日: 2021-12-10
• 發明（設計）人: 唐詩;洪旭東
• 申請（專利權）人: 廣州虎牙科技有限公司
• 主分類號: H04N21/43
• 分類號: H04N21/43;H04N21/442
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種音視頻同步的檢測方法，其特征在于，包括：

當播放音視頻文件時，接收待測音頻信號和待測視頻信號；

對所述待測音頻信號進行采樣處理，獲得音頻序列，對所述待測視頻信號進行分幀處理，獲得視頻幀序列；

根據所述音頻序列的能量確定第一標記點，所述第一標記點為所述音頻序列中有效音頻信號的中點，根據所述視頻幀序列的灰度確定第二標記點；所述第一標記點和所述第二標記點在所述音視頻文件中對齊；

將所述第一標記點和所述第二標記點分別對應的時刻進行比對，根據比對的結果確定所述待測音頻信號與所述待測視頻信號之間的同步信息。

2.根據權利要求1所述的方法，其特征在于，根據所述音頻序列的能量確定第一標記點，包括：

獲取所述音頻序列的能量范圍；

根據所述能量范圍在所述音頻序列中確定有效音頻信號的起點位置和終點位置；

確定位于所述起點位置和所述終點位置之間的中點位置為有效音頻信號的中點。

3.根據權利要求2所述的方法，其特征在于，獲取所述音頻序列的能量范圍，包括：

計算所述音頻序列的能量均值，并獲取第一系數和第二系數；

根據所述能量均值、第一系數及第二系數，獲得第一能量閾值和第二能量閾值；所述第一系數大于第二系數；

由所述第一能量閾值和所述第二能量閾值組成能量范圍。

4.根據權利要求3所述的方法，其特征在于，確定有效音頻信號的起點位置，包括：

在音頻序列中查找連續第一設定數量的音頻信號的能量均大于所述第一能量閾值的第一子序列，將所述第一子序列的起點作為初始起點位置；

獲取從所述初始起點位置開始，前向連續音頻信號的能量均大于所述第二能量閾值的第一音頻信號數量；

根據所述第一音頻信號數量對所述初始起點位置進行修正，獲得有效音頻信號的起點位置。

5.根據權利要求3所述的方法，其特征在于，確定有效音頻信號的終點位置，包括：

在音頻序列中查找連續第二設定數量的音頻信號的能量均小于所述第一能量閾值的第二子序列，將所述第二子序列的起點作為初始終點位置；

獲取從所述初始終點位置開始，后向連續音頻信號的能量均小于所述第二能量閾值的第二音頻信號數量；

根據所述第二音頻信號數量對所述初始終點位置進行修正，獲得有效音頻信號的終點位置。

6.根據權利要求1所述的方法，其特征在于，根據所述視頻幀序列的灰度確定第二標記點，包括：

計算所述視頻幀序列中每個視頻幀的灰度值；

在所述視頻幀序列中查找視頻幀子序列，所述視頻幀子序列中的視頻幀連續且數量為預設的值，所述視頻幀的灰度值大于預設的灰度閾值，并將所述視頻幀子序列的起點確定為第二標記點。

7.根據權利要求1所述的方法，其特征在于，將所述第一標記點和所述第二標記點分別對應的時刻進行比對，根據比對的結果確定所述待測音頻信號與所述待測視頻信號之間的同步信息，包括：

確定所述音頻序列的采樣率，并根據所述第一標記點在所述音頻序列中的序號與所述采樣率計算所述第一標記點對應的第一時刻；

確定所述視頻幀序列的分幀率，根據所述第二標記點在所述視頻幀序列中的序號和所述分幀率計算所述第二標記點對應的第二時刻；

根據所述第一時刻和所述第二時刻的比對結果確定音視頻的同步信息。

8.根據權利要求7所述的方法，其特征在于，根據所述第一時刻和所述第二時刻的比對結果確定音視頻的同步信息，包括：

若所述第一時刻大于所述第二時刻，則確定的同步信息為音頻信號滯后視頻信號；

若所述第一時刻小于所述第二時刻，則確定的同步信息為音頻信號提前于視頻信號；

若所述第一時刻等于所述第二時刻，則確定的同步信息為音頻信號和視頻信號同步。