[發(fā)明專利]多路音視頻同步方法及裝置

在審

• 申請?zhí)枺?/td>: 202010692102.X
• 申請日: 2020-07-17
• 公開（公告）號: CN111787365A
• 公開（公告）日: 2020-10-16
• 發(fā)明（設(shè)計）人: 吳廣禮;黃新明
• 申請（專利權(quán)）人: 易視騰科技股份有限公司
• 主分類號: H04N21/236
• 分類號: H04N21/236;H04N21/43;H04N21/478;H04N21/8547
• 代理公司: 北京聯(lián)創(chuàng)佳為專利事務(wù)所(普通合伙) 11362
• 代理人: 郭防

本發(fā)明為了解決多路音視頻同步中畫面與音頻不同步的問題，提供一種多路音視頻同步方法，包括的步驟：接收多路音視頻數(shù)據(jù)，記錄各路音視頻的首幀到達(dá)服務(wù)器時間，并獲取各路音視頻中各幀的原始顯示時間戳；根據(jù)各路音視頻中首幀的原始顯示時間戳，更新各路音視頻中首幀的顯示時間戳為所述首幀到達(dá)服務(wù)器時間；根據(jù)各路音視頻中非首幀的原始顯示時間戳、各路音視頻中首幀的原始顯示時間戳和首幀到達(dá)服務(wù)器時間，更新所述各路音視頻中非首幀的顯示時間戳；將顯示時間戳更新后的各路音視頻數(shù)據(jù)進(jìn)行混流并輸出，以使接收終端根據(jù)所述更新后的顯示時間戳播放音視頻數(shù)據(jù)。解決混流后不同步的問題。同時提供了相應(yīng)的裝置、設(shè)備和介質(zhì)。

技術(shù)領(lǐng)域

本發(fā)明屬于流媒體處理技術(shù)領(lǐng)域，具體而言，涉及一種多路音視頻同步方法、同步裝置、計算機(jī)可讀介質(zhì)及電子設(shè)備。

背景技術(shù)

基于互聯(lián)網(wǎng)的實(shí)時音視頻同步應(yīng)用作為一種新的需求正開始得到關(guān)注，例如在線課堂，游戲直播等。實(shí)時音視頻在網(wǎng)絡(luò)傳輸中會因?yàn)閺?fù)雜的網(wǎng)絡(luò)環(huán)境產(chǎn)生延時，同時各個客戶端內(nèi)部時鐘可能不一致，從而導(dǎo)致多路音視頻媒體流在服務(wù)端接收處理后出現(xiàn)不同步的情況。

目前較為常見的技術(shù)手段是根據(jù)實(shí)時音視頻流的RTP(Real-time TransportProtocol)包中的時間戳進(jìn)行同步，但是如果各個客戶端時間不同步，會導(dǎo)致多路流混流失敗，此方案必須保證服務(wù)器、客戶端間所有設(shè)備的時間同步。

發(fā)明內(nèi)容

本發(fā)明為了解決上述現(xiàn)有技術(shù)的缺點(diǎn)，提出了一種依據(jù)統(tǒng)一采用服務(wù)器時間為標(biāo)準(zhǔn)的音視頻數(shù)據(jù)同步方案，這樣，就避免了各個音視頻數(shù)據(jù)時鐘不統(tǒng)一帶來混流失敗的問題，具體地，第一方面，本發(fā)明實(shí)施例提出了一種多路音視頻同步方法，包括如下步驟：

S110、接收多路音視頻數(shù)據(jù)，記錄各路音視頻的首幀到達(dá)服務(wù)器時間，并獲取各路音視頻中各幀的原始顯示時間戳；

S120、根據(jù)各路音視頻中首幀的原始顯示時間戳，更新各路音視頻中首幀的顯示時間戳為所述首幀到達(dá)服務(wù)器時間；

S130、根據(jù)各路音視頻中非首幀的原始顯示時間戳、各路音視頻中首幀的原始顯示時間戳和首幀到達(dá)服務(wù)器時間，更新所述各路音視頻中非首幀的顯示時間戳；

S140、將顯示時間戳更新后的各路音視頻數(shù)據(jù)混流并輸出，以使接收終端根據(jù)所述更新后的顯示時間戳播放音視頻數(shù)據(jù)。

進(jìn)一步地，所述步驟S130中，所述各路音視頻中非首幀的顯示時間戳為：各路的音視頻的首幀到達(dá)服務(wù)器時間加上當(dāng)前非首幀的原始顯示時間戳，再減去各路音視頻中首幀的原始顯示時間戳。

進(jìn)一步地，所述多路音視頻數(shù)據(jù)的原始顯示時間戳依據(jù)各自獨(dú)立的時鐘形成。

進(jìn)一步地，所述步驟S110包括：接收多路音視頻數(shù)據(jù)，對所述多路音視頻數(shù)據(jù)進(jìn)行解碼，獲取各路音視頻的首幀到達(dá)服務(wù)器時間，并獲取各路音視頻中各幀的原始顯示時間戳。

進(jìn)一步地，所述多路音視頻同步方法運(yùn)行于流媒體服務(wù)器，所述各路音視頻的首幀到達(dá)服務(wù)器時間為各路音視頻的首幀到達(dá)所述流媒體服務(wù)器的時間。

進(jìn)一步地，所述步驟S140包括：將顯示時間戳更新后的各路音視頻數(shù)據(jù)合成一路數(shù)據(jù)流進(jìn)行輸出。

進(jìn)一步地，所述接收終端根據(jù)所述更新后的顯示時間戳播放音視頻數(shù)據(jù)的步驟包括：依據(jù)各幀的顯示時間戳、和時間基對音視頻數(shù)據(jù)進(jìn)行播放。

第二方面，本發(fā)明實(shí)施例提供了一種多路音視頻同步裝置，包括解碼模塊、首幀同步模塊、非首幀同步模塊和混流模塊；

所述解碼模塊用于接收多路音視頻數(shù)據(jù)，記錄各路音視頻的首幀到達(dá)服務(wù)器時間，并獲取各路音視頻中各幀的原始顯示時間戳；

所述首幀同步模塊用于根據(jù)各路音視頻中首幀的原始顯示時間戳，更新各路音視頻中首幀的顯示時間戳為所述首幀到達(dá)服務(wù)器時間；