[發(fā)明專利]一種媒體流信息的處理方法及終端、計算機(jī)存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201710596880.7
• 申請日: 2017-07-20
• 公開（公告）號: CN109286601B
• 公開（公告）日: 2022-03-11
• 發(fā)明（設(shè)計）人: 王俊
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: H04L65/61
• 分類號: H04L65/61;H04L65/613;H04L65/80
• 代理公司: 北京派特恩知識產(chǎn)權(quán)代理有限公司 11270
• 代理人: 蔣雅潔;張穎玲

1.一種媒體流信息的處理方法，其特征在于，所述方法包括：

對由至少一個媒體幀信息構(gòu)成的第一媒體數(shù)據(jù)流按照媒體幀類型進(jìn)行分離，得到至少一個視頻幀和至少一個音頻幀；將所述至少一個視頻幀發(fā)送到第一抖動緩沖區(qū)Jitterbuffer；

將所述至少一個音頻幀發(fā)送到第二Jitterbuffer；

由所述第一Jitterbuffer按照包序號由小到大的排列順序，對所述至少一個視頻幀構(gòu)成的視頻流進(jìn)行排序，得到所述視頻流對應(yīng)的排序結(jié)果；獲取所述視頻流中的關(guān)鍵幀，建立所述關(guān)鍵幀與非關(guān)鍵幀的相關(guān)性；根據(jù)所述視頻流對應(yīng)的排序結(jié)果和所述相關(guān)性得到相鄰視頻幀的原始時戳差值；根據(jù)所述相鄰視頻幀的原始時戳差值進(jìn)行出隊(duì)節(jié)拍控制；當(dāng)異常導(dǎo)致的所述視頻流的出隊(duì)幀率低于所述第一最低幀率策略中設(shè)置的所述視頻流的下限出隊(duì)幀率時，根據(jù)所述視頻流的下限出隊(duì)幀率輸出所述視頻流對應(yīng)的插幀指示幀，并根據(jù)所述視頻流對應(yīng)的插幀指示幀對異常進(jìn)行修復(fù)后得到待處理的視頻流；

由所述第二Jitterbuffer按照包序號由小到大的排列順序，對所述至少一個音頻幀構(gòu)成的音頻流進(jìn)行排序，得到所述音頻流對應(yīng)的排序結(jié)果；根據(jù)所述音頻流對應(yīng)的排序結(jié)果得到相鄰音頻幀的原始時戳差值；根據(jù)所述相鄰音頻幀的原始時戳差值進(jìn)行出隊(duì)節(jié)拍控制；當(dāng)異常導(dǎo)致的所述音頻流的出隊(duì)幀率低于所述第二最低幀率策略中設(shè)置的所述音頻流的下限出隊(duì)幀率時，根據(jù)所述音頻流的下限出隊(duì)幀率輸出所述音頻流對應(yīng)的插幀指示幀，并根據(jù)所述音頻流對應(yīng)的插幀指示幀對異常進(jìn)行修復(fù)后得到待處理的音頻流；

將所述待處理的視頻流和所述待處理的音頻流發(fā)送到第三Jitterbuffer；

由所述第三Jitterbuffer根據(jù)原始輸入時戳的時間順序，對所述待處理的視頻流和所述待處理的音頻流進(jìn)行音視頻混排處理，得到第二媒體數(shù)據(jù)流。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

設(shè)置初始緩沖最小包數(shù)，如果當(dāng)前緩沖包數(shù)達(dá)到所述初始緩沖最小包數(shù)，則執(zhí)行出隊(duì)處理，否則，執(zhí)行入隊(duì)處理；

根據(jù)最低出隊(duì)幀率得到最大出隊(duì)時間間隔，如果當(dāng)前時間與上一次成功出隊(duì)的時間之差大于所述最大出隊(duì)時間間隔，則執(zhí)行第一預(yù)設(shè)操作，否則，結(jié)束出隊(duì)處理，返回到入隊(duì)處理。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述由所述第一Jitterbuffer根據(jù)第一最低幀率策略，對所述至少一個視頻幀構(gòu)成視頻流中發(fā)生異常的幀執(zhí)行插幀判決，根據(jù)判決結(jié)果對異常進(jìn)行修復(fù)后得到待處理的視頻流，包括：

執(zhí)行所述入隊(duì)處理時，在初始狀態(tài)下，設(shè)置初始緩沖結(jié)束標(biāo)志為真TRUE；

讀取輸入的視頻包，當(dāng)需要等待的關(guān)鍵幀標(biāo)志為TRUE時，確定入隊(duì)的首包為關(guān)鍵幀；

若當(dāng)前需要等待關(guān)鍵幀，但當(dāng)前為非關(guān)鍵幀，則結(jié)束當(dāng)前的入隊(duì)處理，否則對所述視頻包進(jìn)行入隊(duì)預(yù)處理；

進(jìn)行入隊(duì)預(yù)處理后進(jìn)行視頻包的合法性判斷，若當(dāng)前視頻包的包序號大于上一次出隊(duì)視頻包的包序號，則丟棄當(dāng)前視頻包，結(jié)束當(dāng)前入隊(duì)處理，否則，按照包序號從小到大的順序，將當(dāng)前視頻包入隊(duì)。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述由所述第一Jitterbuffer根據(jù)第一最低幀率策略，對所述至少一個視頻幀構(gòu)成視頻流中發(fā)生異常的幀執(zhí)行插幀判決，根據(jù)判決結(jié)果對異常進(jìn)行修復(fù)后得到待處理的視頻流，包括：

執(zhí)行所述出隊(duì)處理時，在初始狀態(tài)下，若初始緩沖結(jié)束標(biāo)志不為TRUE，則不執(zhí)行當(dāng)前出隊(duì)處理，直接返回到入隊(duì)處理，否則，根據(jù)隊(duì)列當(dāng)前為空或不為空的情況分別進(jìn)行判斷；

隊(duì)列當(dāng)前為空的情況下，若當(dāng)前時間與上次成功出隊(duì)時間之差大于最大出隊(duì)時間間隔時，則執(zhí)行第一預(yù)設(shè)操作，否則，結(jié)束出隊(duì)處理，返回到入隊(duì)處理；

隊(duì)列當(dāng)前不為空的情況下，若當(dāng)前時間與上次成功出隊(duì)時間之差大于待出隊(duì)首包與上次成功出隊(duì)包之間的時戳差值時，則將隊(duì)列首包出隊(duì)，否則，判斷當(dāng)前時間與上次成功出隊(duì)時間之差是否大于最大出隊(duì)時間間隔時，如果是，則執(zhí)行預(yù)設(shè)操作，否則，結(jié)束出隊(duì)處理，返回到入隊(duì)處理。