[發明專利]一種檢測音頻流和視頻流是否同步的方法及裝置

在審

• 申請號: 202011306122.5
• 申請日: 2020-11-20
• 公開（公告）號: CN114520907A
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 陳友斌;徐一波
• 申請（專利權）人: 湖北微模式科技發展有限公司
• 主分類號: H04N17/00
• 分類號: H04N17/00;H04N21/8547;H04N21/242;H04N21/43
• 代理公司: 湖北高韜律師事務所 42240
• 代理人: 鄢志波

本發明公開了一種檢測音頻流和視頻流是否同步的方法，該方法包括：獲取音頻流的最后一個音頻幀的時間信息Pa，以及視頻流的最后一個視頻幀的時間信息Pv；根據預設的算法，以及所述步驟S1中獲取的Pa和Pv，計算音頻流播放時長Ta和視頻流播放時長Tv；根據所述步驟S2中計算出的Ta和Tv，比較兩者差的絕對值與預設閾值T的大小，若兩者差的絕對值大于預設閾值，即|Tv?Ta|T，則判定音頻流和視頻流不同步。該方法運行速度快，檢測準確率高，大大節省人力對視頻文件音視頻流不同步的檢查。

技術領域

本發明涉及音視頻解碼技術領域，具體為一種檢測音頻流和視頻流是否同步的方法及裝置。

背景技術

隨著數字視頻軟硬件技術的進步以及成本的大幅下降，越來越多的行業和領域開始了數字視頻的相關應用。銀行、證券、保險等金融機構在銷售理財產品、貴重金屬、保險產品時，根據監管部門的要求必須進行錄音錄像(簡稱雙錄)。不僅如此，雙錄音視頻還必須要符合監管部門的一系列規范與要求。雙錄視頻作為一種播放展示的數字媒體，其首先需要保證其內部的音視頻流均可以正常顯示和播放。可以正常播放的一般包括音視頻內容清晰、音視頻播放流暢無卡頓、音視頻同步。其中音視頻同步是一個常見錄制質量不合格的表現，其視頻中的聲音相對視頻畫面會出現超前或者滯后的情況。針對音視頻是否同步的人工檢查在視頻數量較大的時候，對人的精力和耐力無疑都是嚴峻的考驗。另一方面，人工審查則不可避免的存在效率低下、精確度較差、判斷尺度不一致、成本高昂等一系列弊端。面對這一問題，通過計算機自動對雙錄音視頻進行智能稽核開始變得勢在必行。但是，通過對語音和視頻畫面進行語義理解再進行兩者同步性分析的方法存在極大的技術難度。這是因為計算機往往難以準確理解音頻和視頻的語義，從而影響其對音視頻是否同步的判斷。

發明內容

為了克服現有技術中存在的問題，本發明提供一種檢測音頻流和視頻流是否同步的方法，所述方法包括：

S1：獲取音頻流的指定音頻幀的時間信息Pa，以及視頻流的指定視頻幀的時間信息Pv；

S2：根據預設的算法，以及所述步驟S1中獲取的Pa和Pv，計算音頻流播放時長Ta和視頻流播放時長Tv；

S3：根據所述步驟S2中計算出的Ta和Tv，比較兩者差的絕對值與預設閾值T的大小，若兩者差的絕對值大于預設閾值，即|Tv-Ta|T，則判定音頻流和視頻流不同步。

進一步的，所述方法還包括：

S0：加載需檢測的視頻文件，轉步驟S1；其中所述視頻文件包括音頻流和視頻流。

進一步的，所述步驟S3還包括：根據所述步驟S2中計算出的Ta和Tv，比較兩者差的絕對值與預設閾值T的大小，若兩者差的絕對值不大于預設閾值，即|Tv-Ta|≤T，則判定音頻流和視頻流同步。

進一步的，所述步驟S1中的時間信息Pa、Pv為顯示時間戳PTS；所述指定音頻幀為最后一個音頻幀；所述指定視頻幀為最后一個視頻幀。

進一步的，所述步驟S2中的預設的算法為：Tv＝Pv×Bv；Ta＝Pa×Ba；所述步驟S3中預設閾值T為3秒。

本發明還提供一種檢測音頻流和視頻流是否同步的裝置，所述裝置包括：信息獲取模塊，用于獲取音頻流的最后一個音頻幀的時間信息Pa，以及視頻流的最后一個視頻幀的時間信息Pv；時長計算模塊，用于根據預設的算法，以及所述信息獲取模塊獲取的Pa和Pv，計算音頻流播放時長Ta和視頻流播放時長Tv；閾值比較模塊，用于根據所述時長計算模塊中計算出的Ta和Tv，比較兩者差的絕對值與預設閾值T的大小，若兩者差的絕對值大于預設閾值，即|Tv-Ta|T，則判定音頻流和視頻流不同步。

進一步的，所述裝置還包括：文件加載模塊，用于加載需檢測的視頻文件，并將加載好的視頻文件轉入信息獲取模塊進行處理；其中所述視頻文件包括音頻流和視頻流。