[發明專利]一種在不同設備上分別播放音頻與視頻的唇音同步方法

有效

• 申請號: 201811210525.2
• 申請日: 2018-10-17
• 公開（公告）號: CN109168059B
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 范圣沖;高新媛;白剛
• 申請（專利權）人: 上海賽連信息科技有限公司
• 主分類號: H04N21/41
• 分類號: H04N21/41;H04N21/43;H04N21/4363;H04N21/8547
• 代理公司: 北京展翅星辰知識產權代理有限公司 11693
• 代理人: 王文生

本發明公開了一種在不同設備上分別播放音頻與視頻的唇音同步方法，所述不同設備包括音頻播放設備和視頻播放設備，包括使用發送端發送音視頻碼至所述音頻播放設備和視頻播放設備，所述發送端對其發送的數據包增加時間戳信息，所述音頻播放設備和視頻播放設備分別使用同步機制以同步播放具備相同時間戳的音頻和視頻信息。本發明設計的唇音同步播放機制，可以應對99％的網絡抖動情況，保證在網絡質量不穩定時，在不同設備上的音視頻仍然可以同步播放。

技術領域

本發明涉及多媒體技術領域，具體而言，涉及一種在不同設備上分別播放音頻與視頻的唇音同步方法。

背景技術

在視頻會議場景中，每個參會的終端都接收來自于其他參會者的視頻和音頻碼流，并通過本地的圖像顯示設備(比如顯示屏)和聲音播放設備(比如揚聲器)把接收到的視頻和音頻進行顯示和播放。由于音視頻碼流是由同一設備接收并且播放的，所以相應的音頻和視頻圖像在播放時是唇音同步的，即視頻圖像中參會者說話時的口型與對應的聲音是一致的。

但在沒有人為干預的情況下，聲音和視頻的播放時間由于IP網絡的不穩定性，有可能是不一致的。導致用戶感受到的聲音和視頻不同步，即唇音不同步。

例如在一些特定場景下(如圖1-2)，對音視和視頻的接收和播放有時需要在不同的設備上進行，比如視頻圖像的接收是由會議室中的視頻終端完成的，而音頻的接收，則是由與該終端通過某種方式配對連接的無線麥克風+音箱完成的；或者如智能終端一體機NE60是一款適合桌面或者小型會議室使用的音視頻通訊設備，觸屏操控，方便易用，它可以同ME終端配對，實現利用桌面上的NE60上的音頻設備來播放聲音，而通過與ME終端相連接的電視屏幕輸出視頻圖像。在這些場景下，聲音和視頻就會從不同的設備上接收并進行播放和顯示。由于兩個獨立的設備通過IP網絡接收音視頻數據碼流，而IP網絡的不穩定性，聲音和視頻到達不同設備的時間可能是不同的，如果每個設備直接播放所接收到的音視頻碼流，就會存在音視頻不同步的問題，即所顯示的參會者說話時的口型與所對應的聲音是不一致的。

本發明解決的就是在使用IP網絡條件下分別傳輸聲音和視頻數據到不同設備時，進行音視頻同步播放的問題。

發明內容

本發明提出了一種在不同設備上分別播放音頻與視頻的唇音同步方法，所述不同設備包括音頻播放設備和視頻播放設備，其特征在于，所述方法包括，

使用發送端發送音視頻碼至所述音頻播放設備和視頻播放設備，所述發送端對其發送的數據包增加時間戳信息，所述音頻播放設備和視頻播放設備分別使用同步機制以同步播放具備相同時間戳的音頻和視頻信息。

進一步的，音頻播放設備和視頻播放設備為聲音和視頻各自維護了一個緩沖隊列，待緩沖一定數量的數據包之后，再通過所述同步機制進行播放。

進一步的，其還包括將所述聲音播放設備在同步機制中設為主動方，其從本地的緩沖隊列中均勻地播放聲音數據，同時按一時間周期定期地向視頻顯示設備發送同步消息，把當前正在播放的聲音數據的采集時間戳同步給視頻顯示設備，視頻顯示設備根據所收到的時間戳來控制視頻數據的緩沖隊列長度，進行適度播放，從而保證聲音和視頻的同步

進一步的，所述聲音播放設備每播放一所述時間周期的數據，就向視頻播放設備發送一個同步消息，所述視頻播放設備收到同步消息后，返回一個確認消息至所述發送端，所述確認消息中包括接收到的來自于音頻播放設備的當前發送時間戳；當確認消息被發送端接收到時，發送端用當前接收的系統時間減去發送時的系統時間以確認在當前網絡下的往返延時值Δ；

所述發送端每隔一加權周期對所述往返延時值Δ進行加權處理后發送至所述聲音播放設備，所述聲音播放設備將采集時間戳加上當前的加權處理后的往返延時值Δ后發送至所述視頻播放設備，所述視頻播放設備按照該時間戳進行視頻的同步播放。

進一步的，所述對所述往返延時值Δ進行加權處理包括，將往返延時值Δ除以2得到單向延時值并對所述單向延時值采用濾波算法處理。