[發(fā)明專(zhuān)利]一種音視頻流實(shí)時(shí)分離處理及同步的方法及其系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201410093765.4
• 申請(qǐng)日: 2014-03-13
• 公開(kāi)（公告）號(hào): CN103888815B
• 公開(kāi)（公告）日: 2017-04-12
• 發(fā)明（設(shè)計(jì)）人: 徐永鍵;徐廣健;林澍霖;阮俊杰;譚洪舟
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中山大學(xué)花都產(chǎn)業(yè)科技研究院
• 主分類(lèi)號(hào): H04N21/434
• 分類(lèi)號(hào): H04N21/434;H04N21/4402;H04N21/4405;H04N21/4408;H04N21/439
• 代理公司: 廣州市越秀區(qū)海心聯(lián)合專(zhuān)利代理事務(wù)所(普通合伙)44295
• 代理人: 黃為

1.一種音視頻流實(shí)時(shí)分離處理及同步的方法，其特征在于，包括：?

S1：上位機(jī)獲取并解復(fù)用媒體源文件，以得到視頻流和音頻流；?

S2：所述上位機(jī)對(duì)所述視頻流進(jìn)行視頻解碼和視頻濾波，以得到視頻播放數(shù)據(jù)，并播放所述視頻播放數(shù)據(jù)；?

S3：所述上位機(jī)對(duì)所述音頻流進(jìn)行格式轉(zhuǎn)換及編碼壓縮后傳輸至下位機(jī)；?

S4：所述下位機(jī)調(diào)用解碼器對(duì)所述音頻流進(jìn)行解碼和濾波，以得到音頻播放數(shù)據(jù)，并播放所述音頻播放數(shù)據(jù)；?

S5：對(duì)所述視頻播放數(shù)據(jù)及音頻播放數(shù)據(jù)開(kāi)始時(shí)進(jìn)行初始同步處理，并對(duì)所述視頻播放數(shù)據(jù)及音頻播放數(shù)據(jù)播放過(guò)程中進(jìn)行同步校正處理。?

2.如權(quán)利要求1所述的方法，其特征在于，對(duì)所述視頻播放數(shù)據(jù)及音頻播放數(shù)據(jù)開(kāi)始時(shí)進(jìn)行初始同步處理具體地包括：?

（21）播放所述視頻播放數(shù)據(jù)的第一幀的同時(shí)，所述上位機(jī)發(fā)送視頻起始幀數(shù)據(jù)包至所述下位機(jī)，所述視頻起始幀數(shù)據(jù)包包括幀號(hào)m及所述視頻起始幀所對(duì)應(yīng)的系統(tǒng)時(shí)間t₁；?

（22）所述下位機(jī)接收所述視頻起始數(shù)據(jù)包后，回發(fā)音頻起始幀數(shù)據(jù)包至所述上位機(jī)，所述音頻起始幀數(shù)據(jù)包包括幀號(hào)及該音頻起始幀所對(duì)應(yīng)的系統(tǒng)時(shí)間t₂，且該幀號(hào)與所述視頻起始幀的幀號(hào)相同；?

（23）采用平均法統(tǒng)計(jì)時(shí)間差Δt=t₂-t₁的平均值Δt’；?

（24）判斷平均值Δt’是否超過(guò)預(yù)設(shè)閾值，并根據(jù)判斷結(jié)果對(duì)所述視頻起始幀進(jìn)行減緩幀速率處理。?

3.如權(quán)利要求1或2所述的方法，其特征在于，對(duì)所述視頻播放數(shù)據(jù)及音頻播放數(shù)據(jù)播放過(guò)程中進(jìn)行同步校正處理具體包括：?

（31）播放當(dāng)前視頻幀時(shí)，所述上位機(jī)發(fā)送同步校正數(shù)據(jù)包至所述下位機(jī)，所述同步校正數(shù)據(jù)包包括所述當(dāng)前視頻幀的幀序號(hào)、根據(jù)所述當(dāng)前視頻幀和幀率計(jì)算出的當(dāng)前播放時(shí)間tvideo；?

（32）所述下位機(jī)接收所述同步校正數(shù)據(jù)包，根據(jù)正在解碼的音頻流的采樣率計(jì)算出當(dāng)前音頻幀對(duì)應(yīng)的播放時(shí)間t_audio，重新組成新的數(shù)據(jù)包發(fā)送至所述上位機(jī)，新的數(shù)據(jù)包包括所述當(dāng)前視頻幀的視頻幀序號(hào)、視頻幀的當(dāng)前播放時(shí)間tvideo及當(dāng)前音頻幀的播放時(shí)間taudio；?

（33）所述上位機(jī)接收新的數(shù)據(jù)包，通過(guò)視頻的幀率計(jì)算當(dāng)前視頻幀對(duì)應(yīng)的時(shí)間tvideo’；?

（34）根據(jù)公式（1）估算所述當(dāng)前視頻幀超前所述當(dāng)前音頻幀的時(shí)間?

（35）采用平均法獲取所述當(dāng)前視頻幀超前所述當(dāng)前音頻幀的平均時(shí)間Δt′_{v_ahead_a}；?

（36）判斷Δt′_{v_ahead_a}的絕對(duì)值是否超過(guò)預(yù)設(shè)閾值；?

（37）當(dāng)Δt′_{v_ahead_a}的絕對(duì)值超過(guò)預(yù)設(shè)閾值且當(dāng)Δt′_{v_ahead_a}>0時(shí)，所述上位機(jī)減緩視頻播放的幀速率；?

（38）當(dāng)Δt′_{v_ahead_a}的絕對(duì)值超過(guò)預(yù)設(shè)閾值且當(dāng)Δt′_{v_ahead_a}<0時(shí)，所述上位機(jī)進(jìn)行跳幀處理。?

4.如權(quán)利要求3所述的方法，其特征在于，S4之后還包括：?

S6：通過(guò)聲音輸入設(shè)備采集人聲數(shù)據(jù)，通過(guò)混音和音效調(diào)節(jié)模塊對(duì)所述音頻播放數(shù)據(jù)及人聲數(shù)據(jù)進(jìn)行合成處理，以得到形成新的音頻播放數(shù)據(jù)，并通過(guò)音響播放該新的音頻播放數(shù)據(jù)；?

S7：所述下位機(jī)對(duì)該新的音頻播放數(shù)據(jù)進(jìn)行音頻編碼及格式轉(zhuǎn)換后傳輸至所述上位機(jī)；?

S8：所述上位機(jī)接收該新的音頻播放數(shù)據(jù)，并在所述視頻播放數(shù)據(jù)及該新的音頻播放數(shù)據(jù)播放結(jié)束后，將兩者進(jìn)行音視頻合成，以生成新媒體文件。?