[發明專利]校正流媒體音視頻同步的方法及裝置

有效

• 申請號: 201611198006.X
• 申請日: 2016-12-22
• 公開（公告）號: CN106603543B
• 公開（公告）日: 2019-08-09
• 發明（設計）人: 馬子平
• 申請（專利權）人: 努比亞技術有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04N21/43;H04N21/4402
• 代理公司: 深圳市凱達知識產權事務所 44256
• 代理人: 劉大彎;沈榮彬

本發明公開了一種校正流媒體音視頻同步的方法及裝置，該裝置包括：同步檢測模塊，用于實時檢測流媒體的音頻和視頻是否同步；第一判斷模塊，用于在音頻和視頻不同步時，判斷視頻的圖像解碼時常是否大于圖像顯示時常；數據獲取模塊，用于獲取視頻的視頻源幀率、實際播放幀率以及移動終端的解碼性能和渲染性能；參考幀率評估模塊，用于根據解碼性能和渲染性能評估視頻的參考幀率；丟幀間隔計算模塊，用于根據視頻源幀率、實際播放幀率及參考幀率計算丟幀間隔；丟幀控制模塊，用于按照丟幀間隔丟棄視頻中的B幀。與現有技術相比，本發明實現了以一定的間隔丟棄視頻中的B幀來進行音、視頻的同步調整，保證了音頻和視頻同步播放，提高了用戶收看體驗。

技術領域

本發明涉及移動通信技術領域，尤其涉及一種校正流媒體音視頻同步的方法及裝置。

背景技術

在移動互聯網時代，隨著智能終端的推廣和普及，用戶不斷追求高品質的音視體驗，高壓縮比、高碼率、高分辨率、多聲道、無損音源漸漸成為標配，人們對多媒體的音源的無損和視頻畫面的質量要求越來越高。網絡視頻點播(Video-on-demand，簡稱為VOD)和直播已成為人們生活中休閑娛樂的一部分，根據用戶的需要播放相應的視頻節目，從根本上改變了用戶過去被動式看電視的不足，可以隨時直接點播希望收看的視頻內容。其中，視頻點播(VOD)的實現過程為：當用戶發出點播請求時，流媒體服務系統根據點播請求，將存放在片源庫中的節目信息檢索出來，以視頻和音頻流文件的形式通過高速傳輸網絡傳送到用戶終端。在線視頻流媒體片源庫提供商提供了不同文件類型、編碼類型的視頻源，以及相同編碼類型不同level、不同profile 的視頻源，以滿足用戶對音視頻源需求的多樣性。

然而，受到服務器帶寬、網絡傳輸性能、終端硬件性能等因素的制約， VOD在終端上播放時，視頻難以達到源文件所要求的FPS(視頻播放幀率)，在播放過程中會出現跳幀現象，表現為圖像顯示不連貫；甚至出現音視頻不同步，如音頻滯后視頻或音頻領先于視頻，嚴重影響了用戶收看體驗。

因此，有必要提供一種校正流媒體音視頻同步的方法及裝置來解決上述技術問題。

發明內容

本發明的主要目的在于提出一種校正流媒體音視頻同步的方法及裝置，旨在解決現有技術中流媒體播放過程中音頻和視頻不同步、影響用戶收看體驗的問題。

為實現上述目的，本發明提供一種校正流媒體音視頻同步的裝置，應用于移動終端，所述裝置包括：

同步檢測模塊，用于在流媒體播放過程中，實時檢測所述流媒體的音頻和視頻是否同步；

第一判斷模塊，用于在所述音頻和所述視頻不同步時，判斷所述視頻的圖像解碼時常是否大于圖像顯示時常；

數據獲取模塊，用于在所述第一判斷模塊的判斷結果為是時，獲取所述視頻的視頻源幀率、實際播放幀率以及所述移動終端的解碼性能和渲染性能；

參考幀率評估模塊，用于根據所述解碼性能和所述渲染性能評估所述視頻的參考幀率；

丟幀間隔計算模塊，用于根據所述視頻源幀率、實際播放幀率以及所述參考幀率計算丟幀間隔；

丟幀控制模塊，用于按照所述丟幀間隔丟棄所述視頻中的B幀。

進一步地，所述丟幀間隔計算模塊包括：

待設置幀率計算單元，用于根據所述實際播放幀率和所述參考幀率計算待設置幀率；

丟幀間隔計算單元，用于根據所述視頻源幀率和所述待設置幀率計算丟幀間隔，所述丟幀間隔的計算公式為Ti＝1000/(Fs–Fset)，其中所述Fs為視頻源幀率，所述Fset為待設置幀率，所述Ti為丟幀間隔。

進一步地，所述待設置幀率計算單元具體用于：