[發明專利]一種多媒體幀的處理方法及裝置

有效

• 申請號: 201410649928.2
• 申請日: 2014-11-14
• 公開（公告）號: CN104394450B
• 公開（公告）日: 2017-12-29
• 發明（設計）人: 王雄才
• 申請（專利權）人: 青島海信寬帶多媒體技術有限公司
• 主分類號: H04N21/43
• 分類號: H04N21/43;H04N21/262
• 代理公司: 北京同達信恒知識產權代理有限公司11291
• 代理人: 黃志華

技術領域

本發明涉及多媒體通信領域，尤其涉及一種多媒體幀的處理方法及裝置。

背景技術

數字電視系統中，發射端的編碼器對音頻模擬信號或者視頻模擬信號編碼得到音頻幀或者視頻幀，在接收端由解碼器對音頻幀或者視頻幀解碼。為了保證發射端的編碼器和接收端的解碼器正常工作，編碼器和解碼器的頻率和相位要保持一致。

下面分別介紹編碼器和解碼器的工作方式。

在發射端，音頻模擬信號或者視頻模擬信號由編碼器按照MPEG-2的標準，經過抽樣、量化及壓縮編碼，形成基本碼流ES(Elementary Stream，ES)，該ES是不分段的連續碼流。把該ES分成段，加上相應的頭文件并打包，形成分組基本碼流PES(Packet Elementary Stream，PES)，在該PES的包頭信息中包含有顯示時間標簽PTS(Presentation Time Stamp，PTS)和解碼時間標簽DTS(Decoding Time Stamp，DTS)。在傳輸時，將該PES包加上相應的頭文件，再打包成188字節或者204字節的傳輸流TS(Transport Stream，TS)，該TS的包頭中包含節目時鐘參考(Program Clock Reference，PCR)，該PCR是根據編碼器時基采樣產生的。其中，一個PES即為一個音頻幀或者一個視頻幀。

在接收端，解碼器根據TS數據包解碼得到音頻幀或者視頻幀，并從該TS數據包中提取出PCR，并根據提取出的PCR恢復系統時鐘(System Time Clock，STC)，該STC為解碼器時基，從而保證了編碼器和解碼器的頻率和相位一致。解碼器從音頻幀或者視頻幀中提取出音頻幀對應的PTS或者視頻幀對應的PTS。根據音頻幀對應的PTS或者視頻幀對應的PTS對音頻幀或者視頻幀進行播放處理。播放處理的具體實現方式可以是：比較根據STC確定的音頻幀或者視頻幀的接收時刻與PTS指示的時刻之間的時間差值，如果該時間差值在預設門限內，則進行同步播放處理；如果該時間差值超過預設門限，則進行非同步播放處理。同步播放處理時，需要對每個音頻幀或者視頻幀都計算跳幀或重復幀的幀數。跳幀或重復幀的幀數可以由根據STC確定的音頻幀或者視頻幀的接收時刻與PTS指示的時刻之間的時間差值，除以每幀播放的平均時間計算出來。如果計算出的跳幀或重復幀的幀數小于1，則不進行跳幀或重復幀處理；否則，按照計算出的幀數進行跳幀或重復幀處理。

現有技術中，上述預設門限通常設置得較大，因為如果設置較小的預設門限，會導致同步播放與非同步播放之間頻繁切換。

但是，發明人發現，解碼器接收到的碼流可能不穩定，這種情況下，根據STC確定的音頻幀或者視頻幀的接收時刻與PTS指示的時刻之間的時間差值也不穩定，通常會在很短的時間內發生較大變化，在對這種不穩定的碼流進行同步播放處理時，根據時間差值計算出的跳幀或重復幀的幀數大于1的幾率較大，使得播放的畫面不連續，直至上述時間差值大于預設門限時，才會進行非同步播放處理。

綜上，碼流存在PTS和STC之間差值發生突變的情況，即根據STC確定的音頻幀或者視頻幀的接收時刻與PTS指示的時刻之間的時間差值在瞬間增大，如果此時根據STC確定的音頻幀或者視頻幀的接收時刻與PTS指示的時刻之間的時間差值又恰好在預設門限內，這樣通過同步播放處理計算出來的跳幀和重復幀的幀數就會瞬間增加，導致播放畫面不連續。

發明內容

本發明實施例的目的是提供一種多媒體幀的處理方法及裝置，用于解決碼流存在PTS和STC之間的差值發生突變，但根據STC確定的音頻幀或者視頻幀的接收時刻與PTS指示的時刻之間的時間差值在預設門限內，仍然對突變的碼流進行同步播放，導致播放畫面不連續的問題。

本發明的目的是通過以下技術方案實現的：

一種多媒體幀的處理方法，包括：

判斷緩存隊列中的多媒體幀的時間差值是否發生突變，所述時間差值為多媒體幀的顯示時間標簽指示的時刻與多媒體幀的接收時刻的差值，所述緩存隊列由按接收時刻排序的N個待處理的多媒體幀組成，N為整數；

如果所述緩存隊列中有時間差值發生突變的多媒體幀，對本處理周期內的M個待處理的多媒體幀進行非同步播放處理，所述M個待處理的多媒體幀為所述緩存隊列中按接收時刻升序排列的前M個多媒體幀；

如果所述緩存隊列中沒有時間差值發生突變的多媒體幀，且所述M個待處理的多媒體幀的時間差值在預設門限內，對本處理周期內的M個待處理的多媒體幀進行同步播放處理。