[發(fā)明專利]一種音視頻流分布式同步方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011578814.5
• 申請(qǐng)日: 2020-12-28
• 公開(kāi)（公告）號(hào): CN112770165B
• 公開(kāi)（公告）日: 2022-11-18
• 發(fā)明（設(shè)計(jì)）人: 曾艷;吳吉央;張紀(jì)林;萬(wàn)健;周麗
• 申請(qǐng)（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號(hào): H04N21/43
• 分類號(hào): H04N21/43;H04N21/4402
• 代理公司: 浙江千克知識(shí)產(chǎn)權(quán)代理有限公司 33246
• 代理人: 周希良

本發(fā)明公開(kāi)了一種音視頻流分布式同步方法。本發(fā)明抽象音視頻幀組概念，以邏輯時(shí)鐘為基準(zhǔn)，同步音視頻幀組開(kāi)始時(shí)間，音頻設(shè)備以邏輯時(shí)鐘為基準(zhǔn)，組內(nèi)自適應(yīng)調(diào)整處理頻率；視頻設(shè)備基于邏輯時(shí)鐘和音頻時(shí)鐘，實(shí)現(xiàn)幀組內(nèi)自適應(yīng)調(diào)整處理頻率。在無(wú)需引入第三方設(shè)備和專業(yè)傳輸線的情況下，實(shí)現(xiàn)局域網(wǎng)內(nèi)的音視頻多設(shè)備同步。針對(duì)音頻播放時(shí)延的平滑處理，可有效減少丟幀或快進(jìn)概率，與視頻保持一致。本發(fā)明在多設(shè)備之間以幀組粒度進(jìn)行同步，降低了整體通信量，幀組內(nèi)自適應(yīng)調(diào)整頻率，將時(shí)間平攤至多幀，進(jìn)一步有效降低快進(jìn)或花屏概率。該發(fā)明可實(shí)現(xiàn)在普適場(chǎng)景下實(shí)現(xiàn)音頻分流，突破設(shè)備、通信和性能瓶頸，打造智能家庭影院。

技術(shù)領(lǐng)域

本發(fā)明涉及一種音視頻流分布式同步方法，可實(shí)現(xiàn)從終端設(shè)備通過(guò)局域網(wǎng)分別將音視頻近場(chǎng)投放至不同設(shè)備，同時(shí)保持音視頻同步分流。

背景技術(shù)

傳統(tǒng)家庭影院，通常采用多個(gè)音箱與TV相連，音箱播放立體聲音樂(lè)，TV播放視頻；但傳統(tǒng)音箱與TV需采用專線相連，使用場(chǎng)景受阻的同時(shí)安裝復(fù)雜。隨著智能終端發(fā)展，智能播放設(shè)備層出不窮，智能家庭影院開(kāi)始使用智能音箱替換傳統(tǒng)音箱播放立體聲音樂(lè)、智能TV 播放視頻，因此音頻和視頻的分布式同步成為了亟待解決的問(wèn)題。

目前，蘋果將音視頻數(shù)據(jù)共享或傳輸?shù)紸pple TV，通過(guò)專線將音視頻數(shù)據(jù)傳輸至TV送顯，并通過(guò)WIFI將音頻傳輸至音箱，實(shí)現(xiàn)音視頻同步的立體環(huán)繞音家庭影院效果。但該技術(shù)同步過(guò)程需通過(guò)Apple TV盒子，并借助傳輸專線實(shí)現(xiàn)，因此場(chǎng)景應(yīng)用受限，不支持從任一設(shè)備將音視頻投放到音箱和TV的視頻分流需求。

以音頻幀時(shí)間為基準(zhǔn)同步視頻、以視頻幀時(shí)間為基準(zhǔn)同步音頻，并以一定閾值對(duì)齊播放時(shí)間，或以第三方時(shí)鐘作為基準(zhǔn)，將音頻與視頻幀數(shù)據(jù)打上時(shí)間戳，采用放緩播放、加速播放或丟棄數(shù)據(jù)的方式同步外部時(shí)鐘，也都是現(xiàn)有技術(shù)的實(shí)現(xiàn)方法。然而音視頻以幀為粒度進(jìn)行同步，如果跨設(shè)備情況下會(huì)導(dǎo)致通信頻繁，引起網(wǎng)絡(luò)風(fēng)暴；且每幀播放時(shí)間短，通信時(shí)延可能大于播放時(shí)延，導(dǎo)致較差的同步效果。

隨著智能終端設(shè)備的不斷發(fā)展，在普適場(chǎng)景下實(shí)現(xiàn)音視頻分流的需求變得越來(lái)越迫切，而現(xiàn)有方法又存在諸多局限。有鑒于此，開(kāi)發(fā)出一種音視頻流分布式同步方法實(shí)有必要。

發(fā)明內(nèi)容

本發(fā)明的目的是提供分布式的音視頻同步方法，通過(guò)協(xié)調(diào)邏輯時(shí)鐘并自適應(yīng)調(diào)整音視頻幀組內(nèi)處理頻率，實(shí)現(xiàn)局域網(wǎng)內(nèi)音視頻多設(shè)備同步，并且降低快進(jìn)或花屏概率?，F(xiàn)有技術(shù)通常采用圖1所示方法，但存在上述局限。因此為避免上述方法的缺點(diǎn)，本發(fā)明提出了不同的解決方案：

步驟1：局域網(wǎng)內(nèi)設(shè)備組建資源池，并將池內(nèi)設(shè)備按功能分組。同一局域網(wǎng)內(nèi)的設(shè)備組建設(shè)備資源池，將用戶發(fā)起的設(shè)備設(shè)置為主設(shè)備或source端，接收多媒體數(shù)據(jù)的設(shè)備為普通設(shè)備或sink端，并建立起數(shù)據(jù)流和控制流通道。分組過(guò)程，source端設(shè)備將處理視頻的sink 設(shè)備分為視頻設(shè)備組，將處理音頻的sink設(shè)備分為音頻設(shè)備組。根據(jù)用戶視頻信息數(shù)據(jù)，對(duì)視頻幀進(jìn)行分組；并以視頻幀組為基準(zhǔn)，對(duì)音頻幀進(jìn)行分組。

步驟2：source端設(shè)備與視/音頻設(shè)備組協(xié)商視/音頻幀組開(kāi)始時(shí)間。首先source端設(shè)備與視頻設(shè)備組協(xié)商視頻幀組開(kāi)始時(shí)間：視頻設(shè)備獲取本地信息同步給source端，source端設(shè)備根據(jù)收到的多個(gè)視頻設(shè)備組信息預(yù)估下一未播放幀組的開(kāi)始時(shí)間，并通知相關(guān)視頻設(shè)備；其次source端設(shè)備與音頻設(shè)備組協(xié)商音頻幀組開(kāi)始時(shí)間：音頻設(shè)備獲取本地信息同步給source 端，source端設(shè)備根據(jù)收到的多個(gè)音頻設(shè)備組信息以及視頻幀組開(kāi)始時(shí)間預(yù)估下一未播放幀組的開(kāi)始時(shí)間，并通知相關(guān)音頻設(shè)備。

步驟3：音頻設(shè)備以邏輯時(shí)鐘為基準(zhǔn)，組內(nèi)自適應(yīng)調(diào)整處理頻率(音頻設(shè)備組)。音頻設(shè)備組中的音頻設(shè)備，根據(jù)音頻邏輯時(shí)鐘、播放狀態(tài)、下一幀組播放時(shí)間等自適應(yīng)調(diào)整幀組播放頻率，實(shí)現(xiàn)平滑播放。

步驟4：視頻設(shè)備基于邏輯時(shí)鐘和音頻時(shí)鐘，實(shí)現(xiàn)視頻設(shè)備幀組內(nèi)處理頻率的自適應(yīng)調(diào)整。視頻設(shè)備組中的視頻設(shè)備，根據(jù)播放狀態(tài)、視頻邏輯時(shí)鐘信息、音頻邏輯時(shí)鐘信息等自適應(yīng)調(diào)整幀組播放頻率，實(shí)現(xiàn)平滑播放。