[發明專利]一種媒體流信息的處理方法及終端、計算機存儲介質

有效

• 申請號: 201710596880.7
• 申請日: 2017-07-20
• 公開（公告）號: CN109286601B
• 公開（公告）日: 2022-03-11
• 發明（設計）人: 王俊
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: H04L65/61
• 分類號: H04L65/61;H04L65/613;H04L65/80
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 蔣雅潔;張穎玲

本發明公開了一種媒體流信息的處理方法、終端及計算機存儲介質，其中，所述方法包括：對第一媒體數據流按照媒體幀類型進行分離，得到至少一個視頻幀和至少一個音頻幀。將至少一個視頻幀發送到第一抖動緩沖區(Jitterbuffer)和第二Jitterbuffer，由第一Jitterbuffer和所述第二Jitterbuffer根據第一或第二最低幀率策略，對所述至少一個音/視頻幀構成音/視頻流中發生異常的幀執行插幀判決，對異常進行修復后得到待處理的音/視頻流。將待處理的視頻流和待處理的音頻流發送到第三Jitterbuffer，由第三Jitterbuffer根據原始輸入時戳的時間順序，對待處理的視頻流和待處理的音頻流進行音視頻混排處理，得到第二媒體數據流。

技術領域

本發明涉及信息處理技術，尤其涉及一種媒體幀信息的處理方法及終端、計算機存儲介質。

背景技術

由發送端和接收端構成的實時通訊系統中，音、視頻數據包可能由于網絡狀況或人為因素(臨時關閉本地視頻或音頻，或同時關閉)發生亂序、抖動、延時、斷流等問題，這將導致接收端收到的音、視頻數據出現時戳跳變、長時間無音頻或無視頻等異常現象。為了對異常進行修復，需要采取插幀或補流的技術。不同接收端對媒體數據運行插幀或補流的處理機制是不同的，導致兼容性不好，也達不到對異常修復的良好處理效果。

目前需要解決的問題是：需要提高接收端對媒體數據的兼容性，改善對異常修改的效果。然而，相關技術中，對于該問題，尚無有效解決方案。

發明內容

有鑒于此，本發明實施例提供了一種媒體流信息的處理方法及終端、計算機存儲介質，至少解決了現有技術存在的問題。

本發明實施例的一種媒體流信息的處理方法，所述方法包括：

對由至少一個媒體幀信息構成的第一媒體數據流按照媒體幀類型進行分離，得到至少一個視頻幀和至少一個音頻幀；將所述至少一個視頻幀發送到第一抖動緩沖區Jitterbuffer；

將所述至少一個音頻幀發送到第二Jitterbuffer；

由所述第一Jitterbuffer根據第一最低幀率策略，對所述至少一個視頻幀構成視頻流中發生異常的幀執行插幀判決，根據判決結果對異常進行修復后得到待處理的視頻流；

由所述第二Jitterbuffer根據第二最低幀率策略，對所述至少一個音頻幀構成音頻流中發生異常的幀執行插幀判決，根據判決結果對異常進行修復后得到待處理的音頻流；

將所述待處理的視頻流和所述待處理的音頻流發送到第三Jitterbuffer；

由所述第三Jitterbuffer根據原始輸入時戳的時間順序，對所述待處理的視頻流和所述待處理的音頻流進行音視頻混排處理，得到第二媒體數據流。

上述方案中，所述方法還包括：

設置初始緩沖最小包數，如果當前緩沖包數達到所述初始緩沖最小包數，則執行出隊處理，否則，執行入隊處理；

根據最低出隊幀率得到最大出隊時間間隔，如果當前時間與上一次成功出隊的時間之差大于所述最大出隊時間間隔，則執行第一預設操作，否則，結束出隊處理，返回到入隊處理。

上述方案中，所述由所述第一Jitterbuffer根據第一最低幀率策略，對所述至少一個視頻幀構成視頻流中發生異常的幀執行插幀判決，根據判決結果對異常進行修復后得到待處理的視頻流，包括：

執行所述入隊處理時，在初始狀態下，設置初始緩沖結束標志為真TRUE；

讀取輸入的視頻包，當需要等待的關鍵幀標志為TRUE時，確定入隊的首包為關鍵幀；

若當前需要等待關鍵幀，但當前為非關鍵幀，則結束當前的入隊處理，否則對所述視頻包進行入隊預處理；