[發明專利]音視頻同步的檢測方法、裝置、設備及存儲介質

有效

• 申請號: 201910526070.3
• 申請日: 2019-06-18
• 公開（公告）號: CN110267083B
• 公開（公告）日: 2021-12-10
• 發明（設計）人: 唐詩;洪旭東
• 申請（專利權）人: 廣州虎牙科技有限公司
• 主分類號: H04N21/43
• 分類號: H04N21/43;H04N21/442
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明實施例公開了一種音視頻同步的檢測方法、裝置、設備及存儲介質。包括：當播放音視頻文件時，接收待測音頻信號和待測視頻信號；對所述待測音頻信號進行采樣處理，獲得音頻序列，對所述待測視頻信號進行分幀處理，獲得視頻幀序列；根據所述音頻序列的能量確定第一標記點，根據所述視頻幀序列的灰度確定第二標記點；將所述第一標記點和所述第二標記點分別對應的時刻進行比對，根據比對的結果確定所述待測音頻信號與所述待測視頻信號之間的同步信息。本實施例提供的音視頻同步的檢測方法，可以降低音視頻同步檢測的成本，且相對于人工檢測，可以提高音視頻同步檢測的準確性。

技術領域

本發明實施例涉及多媒體技術領域，尤其涉及一種音視頻同步的檢測方法、裝置、設備及存儲介質。

背景技術

音視頻媒體間同步是多媒體系統服務質量研究中的一項重要內容。在網絡上傳輸多媒體數據時，由于終端對數據的處理方式，以及網絡中的延時、抖動，會引起音視頻流的不同步。進而會出現諸如視頻通話過程中唇音不同步等缺陷的產生，尤其遠程直播類產品對于音視頻同步性能要求較高的應用中，會大大降低音視頻設備的用戶體驗。

音視頻同步檢測是在產品研發過程中一項重要的過程。目前，現有的音視頻同步監測技術主要分兩類：一類是人工觀察接收端的視頻，并對視頻進行剪輯，聽伴隨的音頻以做出音視頻是否同步的結論，這種方式不僅耗費人力成本，且準確性也較低。另一類是采用精密儀器檢測音視頻的同步，利用雙蹤存儲示波器分別存儲音頻和視頻信號波形，并根據音視頻信號的刻度讀取時間差，或者采用專業毫秒計進行測量，這種方式硬件成本高且測量精度也會受儀器精度及人為引入的誤差所影響。

發明內容

本發明實施例提供一種音視頻同步的檢測方法、裝置、設備及存儲介質，可以提高音視頻同步檢測的準確性，且可以降低音視頻同步檢測的成本。

第一方面，本發明實施例提供了一種音視頻同步的檢測方法，包括：

當播放音視頻文件時，接收待測音頻信號和待測視頻信號；

對所述待測音頻信號進行采樣處理，獲得音頻序列，對所述待測視頻信號進行分幀處理，獲得視頻幀序列；

根據所述音頻序列的能量確定第一標記點，根據所述視頻幀序列的灰度確定第二標記點；所述第一標記點和所述第二標記點在所述音視頻文件中對齊；

將所述第一標記點和所述第二標記點分別對應的時刻進行比對，根據比對的結果確定所述待測音頻信號與所述待測視頻信號之間的同步信息。

進一步地，所述第一標記點為所述音頻序列中有效音頻信號的中點；根據所述音頻序列的能量確定第一標記點，包括：

獲取所述音頻序列的能量范圍；

根據所述能量范圍在所述音頻序列中確定有效音頻信號的起點位置和終點位置；

確定位于所述起點位置和所述終點位置之間的中點位置為有效音頻信號的中點。

進一步地，獲取所述音頻序列的能量范圍，包括：

計算所述音頻序列的能量均值，并獲取第一系數和第二系數；

根據所述能量均值、第一系數及第二系數，獲得第一能量閾值和第二能量閾值；所述第一系數大于第二系數；

由所述第一能量閾值和所述第二能量閾值組成能量范圍。

進一步地，確定所述有效音頻信號的起點位置，包括：

在音頻序列中查找連續第一設定數量的音頻信號的能量均大于所述第一能量閾值的第一子序列，將所述第一子序列的起點作為初始起點位置；

獲取從所述初始起點位置開始，前向連續音頻信號的能量均大于所述第二能量閾值的第一音頻信號數量；