[發明專利]傳輸流復用音視頻時間同步方法

有效

• 申請號: 202010738851.1
• 申請日: 2020-07-28
• 公開（公告）號: CN111988641B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 李國平;王國中;范濤;侯世維;商習武;趙曉麗;沈怡君
• 申請（專利權）人: 上海工程技術大學
• 主分類號: H04N21/236
• 分類號: H04N21/236;H04N21/2368
• 代理公司: 上海唯智贏專利代理事務所(普通合伙) 31293
• 代理人: 姜曉艷

本發明提供了一種傳輸流復用音視頻時間同步方法，包括：處理視頻每一幀碼流的DTS和PTS，使視頻每一幀碼流的DTS以視頻幀的時間長度連續累計，使視頻每一幀碼流的PTS以視頻幀的時間長度連續累計；處理音頻每一幀碼流的DTS和PTS，使音頻每一幀碼流的DTS以音頻幀的時間長度連續累計，使音頻每一幀碼流的PTS以音頻幀的時間長度連續累計；根據音頻幀與視頻幀時間同步情況，判斷處理后的時間：若音頻幀原始DTS與視頻幀原始DTS之間的時間差小于第一閾值，則音視頻幀處在同步狀態，保持音視頻時間一致調整；進入復用器進行復用。

技術領域

本發明涉及信號處理技術領域，特別涉及一種傳輸流復用音視頻時間同步方法。

背景技術

MPEG-2標準可分為三部分：視頻、音頻和系統。上面所述的MPEG-2視頻、音頻編碼是針對每一路電視信號的圖像和伴音進行的。視頻編碼和音頻編碼部分輸出的是視頻或音頻基本碼流(稱為ES流)。ES流再經過打包后輸出的是包基本流(稱為PES)。包基本流的包長度可變的，視頻通常是一幀(即一幅圖像)一個包；音頻包長度通常為一個音頻幀，不超過64KB。打包的視頻、音頻基本碼流再經過復用打包，可形成兩種不同的碼流，即節目流(PS：Program Stream)和傳輸流(TS：Transport Stream)。節目流和傳輸流的碼率都是可變的，傳輸流的速率則是由節目時鐘參考(稱為PCR)定義的。

傳輸流是MPEG-2系統層定義的一種數據流，它將具有一個或者多個不同時鐘基準的一個或多個節目組合成一個單一流。不管是在有線電視，還是在衛星電視，或者IPTV，視頻和音頻碼流都是一起復用在傳輸流中進行傳輸的。現在的有線電視和衛星電視的應用中，要求傳輸流的碼率是嚴格的恒定的。

由于在數字壓縮系統中，每一幀圖像所占的數據量是不同的，其依賴于圖像的編碼方式和圖像的復雜度。而通常的傳輸信道的時延是固定的，因而，對于活動圖像而言，各幀的傳輸時延是可變的，于是傳輸和顯示之間沒有自然的同步概念。也就是說，數字傳輸系統不像模擬電視傳輸系統那樣，圖像信息以同步方式傳輸，接收機可以從圖像同步信號中直接獲得時鐘信號，并由此控制顯示。

MPEG-2的系統時序模型的建立，就是為了解決以上的不定時延的問題。它是一個以編碼輸入端與解碼輸出端(顯示端)之間為一恒定時延的模型。該模型通過每個編碼器、解碼器緩沖區的延時是可變的方法(不僅僅是通過一原始流通道的緩沖區的延時可變，就是在音頻和視頻通道中單個的緩沖區延遲也是可變的)來實現恒定時延。為了實現緩沖器的延時可變，MPEG-2系統采用了在ES、PES和TS 3個碼流層次中設置相關的時鐘信息，分別為VBV-delay、顯示時間標簽PTS(Presentation Time Stamp)和解碼時間標簽DTS(Decoding Time Stamp)、節目參考時鐘PCR(Program Clock Reference)，并通過其聯合作用達到編解碼的同步和音視頻輸出顯示的同步。

PTS、DTS、PCR都是基于統一的27MHz系統時鐘，整個系統由該時鐘來同步。以上三個時鐘信息由系統時鐘來產生，因此該時鐘要求有很高的頻率穩定度。PTS、DTS均為33bit，編碼成3個獨立的字段，是保證音視頻準確同步的必要信息。這些時間標簽均是以此分組數據開始的第一個訪問單元為基準來編碼的；對TS碼流而言，PTS和DTS的間隔700ms。當實際碼流合成器(PES打包器)工作時，DTS值由系統信道復用器產生，并通過串行通信方式送給碼流合成模塊，同時還采用同樣的方式送給音視頻編碼器。而PTS值則是利用幀同步信號對DTS計數值進行延時鎖存(延時長度隨圖像組GOP類型和圖像幀類型而定)，增加音視頻同步的可靠性和簡易性。

因為PTS、DTS是保證音視頻準確同步的必要信息，因此傳輸流復用時候首先要保證音視頻PTS、DTS保持同步，但是在很多時候由于存在誤碼和數據丟失，音視頻進入復用器時候不能保證每幀音視頻完全同步，音視頻只是某段時間PTS、DTS保持同步，PTS、DTS在數值上也會出現較大波動。顯然這些復雜的音視頻數據情況給傳輸流復用提出了很大的挑戰。

發明內容