[發明專利]音頻與視頻的同步方法及裝置

有效

• 申請號: 201610144802.9
• 申請日: 2016-03-14
• 公開（公告）號: CN105791939B
• 公開（公告）日: 2019-03-19
• 發明（設計）人: 禹業茂;王金寶;皮慧斌
• 申請（專利權）人: 北京捷思銳科技股份有限公司
• 主分類號: H04N21/43
• 分類號: H04N21/43;H04N21/8547
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

本申請提供了一種音頻與視頻的同步方法，本方法應用在第一終端上，第一終端可以接收第二終端發送的音頻數據包及視頻數據包，音頻數據包內包含有音頻時間戳，視頻數據包內包含視頻時間戳，且音頻時間戳與視頻時間戳是第二終端基于同一個系統時間生成的，因此，音頻時間戳與視頻時間戳之間具有關聯關系，進而，可以在播放視頻數據時，比較視頻時間戳所對應的時間與在播音頻時間戳所對應的時間，若前者早于后者，則將視頻數據包丟棄，若前者晚于后者，則將視頻數據延遲播放，從而實現音頻與視頻的同步。另外，時間戳為數據包內的字段數據，本申請提供的同步方式，并不會增加額外的帶寬占用，節省了帶寬資源。

技術領域

本申請涉及多媒體處理技術領域，更具體地，是音頻與視頻的同步方法及裝置。

背景技術

手機等終端上配置有音頻播放模塊及視頻播放模塊，可以實現音頻與視頻的同時播放。例如，兩個手機進行通話時，手機A可以同時播放手機B發送的音頻與視頻。

但是，由于網絡擁塞等原因，可能導致語音數據包或者視頻數據包延遲抖動，從而出現語音與視頻播放不同步的問題，用戶體驗較差。

發明內容

有鑒于此，本申請提供了一種音頻與視頻的同步方法，用于實現音頻與視頻的同步。另外，本申請還提供了一種音頻與視頻的同步裝置，用以保證所述方法在實際中的應用及實現。

為實現所述目的，本申請提供的技術方案如下：

本申請的第一方面提供了一種音頻與視頻的同步方法，應用于第一終端，該包括：

接收第二終端發送的音頻數據包及視頻數據包；其中，所述音頻數據包中包含音頻時間戳，所述視頻數據包中包含視頻時間戳，且所述音頻時間戳及所述視頻時間戳是所述第二終端基于同一系統時間生成的；

在播放視頻數據包中的視頻數據時，比對所述視頻時間戳對應的時間與正在播放的所述音頻時間戳對應的時間；

若所述視頻時間戳對應的時間早于正在播放的所述音頻時間戳對應的時間，則丟棄所述視頻數據包；

若所述視頻時間戳對應的時間晚于正在播放的所述音頻時間戳對應的時間，則確定所述視頻時間戳對應的時間與所述音頻時間戳對應的時間之間的時間差，并在所述時間差之后，播放所述視頻數據包中的視頻數據；

若所述視頻時間戳對應的時間等于正在播放的所述音頻時間戳對應的時間，則播放所述視頻數據包中的視頻數據。

可選地，上述的音頻與視頻的同步方法中，在所述接收第二終端發送的音頻數據包及視頻數據包之前還包括：

在與所述第二終端建立呼叫的階段，接收所述第二終端發送的呼叫消息；其中，所述呼叫消息中攜帶有音頻采樣率A及視頻采樣率V；

相應地，所述比對所述視頻時間戳對應的時間與正在播放的所述音頻時間戳對應的時間，包括：

依據計算公式TA/(A/1000)，獲得所述音頻時間戳相對時間，以及依據計算公式TV/(V/1000)，獲得所述視頻時間戳相對時間；其中，所述TA為音頻時間戳，所述TV為視頻時間戳；

比對所述視頻時間戳相對時間與所述音頻時間戳相對時間；

所述確定所述視頻時間戳對應的時間與所述音頻時間戳對應的時間之間的時間差，包括：

確定所述視頻時間戳相對時間與所述音頻時間戳相對時間之間的時間差。

本申請的第二方面提供了一種音頻與視頻的同步方法，應用于第二終端，該方法包括：

基于同一系統時間，分別生成音頻時間戳及視頻時間戳；

將所述音頻時間戳封裝在音頻數據包中，并將所述視頻時間戳封裝在視頻數據包中；