[發明專利]一種基于時間戳的多路音視頻流同步解碼方法

在審

• 申請號: 201610158878.7
• 申請日: 2016-03-18
• 公開（公告）號: CN107205158A
• 公開（公告）日: 2017-09-26
• 發明（設計）人: 陳春豪;肖江劍;宋康康;姜麟建
• 申請（專利權）人: 中國科學院寧波材料技術與工程研究所
• 主分類號: H04N21/218
• 分類號: H04N21/218;H04N21/236;H04N21/43;H04N21/434;H04N21/439;H04N21/44;H04N21/8547
• 代理公司: 北京中政聯科專利代理事務所(普通合伙)11489
• 代理人: 郭曉華

技術領域

本發明涉及計算機編解碼技術和計算機圖形學技術，特別涉及一種基于時間戳的多路音視頻流同步解碼方法。

背景技術

拼接式全景攝像機的成像過程是指將多個攝像頭按照空間位置關系，固定安裝在支架上，每個攝像頭可以獨立、高清地捕捉固定角度的圖像。全景圖像拼接技術是將不同相機在不同的時間、不同方向拍攝的圖像，拼接到同一坐標系下進行全景展示。

基于多攝像頭的360度全景視頻拼接，必須考慮到攝像頭的個數，攝像頭的個數越多，視頻同步采集以及視頻編解碼的負荷量越大，同時增加了全景拼接融合的次數。由于多路拼接式全景攝像機的硬件設備無法做到精確的視頻同步采集，若直接對采集后的多路H.264視頻流和PCM音頻流進行同時解碼，無法保證音視頻之間的同步以及視頻間圖像顯示的時間同步性，拼接后的全景圖像容易出現影像重疊現象。

發明內容

針對上述難題，本發明提供一種基于時間戳的多路音視頻流同步解碼方法。

本發明提供一種基于時間戳的多路音視頻流同步解碼方法，其包括如下步驟：

(a)通過全景攝像機獲取多路視頻流，同時通過音頻采集器獲取單路音頻流；

(b)對每一路視頻流和單路音頻流進行預處理；

(c)通過基于時間戳的同步解碼算法對預處理后的多路視頻流和單路音頻流進行同步排序解碼。

步驟(a)具體為通過拼接式全景攝像機采集同一時間、不同方向的多路視頻流，其中視頻流的格式為H.264；同時通過音頻采集器獲取對應的拍攝場景的PCM音頻流。

步驟(b)具體包括以下步驟：

(b1)劃分對每一路視頻流的每一幀圖像進行劃分，得到多個h264圖像包，并獲取每一h264圖像包的包長；

(b2)對所述單路PCM音頻流進行劃分得到PCM音頻包，并獲取PCM音頻包的包長；

(b3)在每一個h264圖像包和PCM音頻包添加附加信息，用于解碼識別。

所述步驟(b3)具體為：

首先，在每一個h264圖像包以及PCM音頻包前均添加包頭信息、時間戳信息以及包長信息，其中，所述包頭信息用于每一路視頻流中不同h264圖像包/PCM音頻包之間的劃分和辨別，所述時間戳信息代表該幀圖像拍攝時的時間點/每個PCM音頻包的錄制時間，所述包長信息用于記錄該h264圖像包/PCM音頻包的存儲長度；

其次，以多路H.264格式的視頻流和單路PCM音頻流為基礎建立多路PES視頻流和單路PEA音頻流，PES視頻流和PEA音頻流的文件內容排序為：包頭信息、時間戳信息、包長信息、h264圖像包/PCM音頻包，其中，h264圖像包來源于H.264格式的視頻流的內容，h264圖像包為每一幀圖像經過H.264編碼后得到，PCM音頻包來源于PCM音頻流的內容。

步驟(c)具體包括以下步驟：

(c1)初始化多路PES視頻流和單路PEA音頻流同步解碼的時間條件；

(c2)對單路PES視頻流按時間戳信息進行解碼并渲染；

(c3)按照步驟(c2)的處理方式循壞處理完每一路PES視頻流，每處理完一次即可渲染得到一組同步的視頻流圖像；

(c4)對單路PEA音頻流按時間戳信息進行解碼并播放，以實現該時間點下的音視頻同步；

(c5)更新解碼渲染的時間點，重復步驟(c1)至步驟(c3)，完成下一組音視頻流的刷新。

所述步驟(c1)具體為：初始化解碼時間T以及更新渲染時間Δt。

所述步驟(c2)具體為：

首先，讀取該路PES視頻流的最近一個未解碼的h264圖像包對應的時間戳信息T_n，將時間戳信息T_n與T進行比較，若T_n<T，則對該h264圖像包進行解碼；

然后，依次判斷每一個未解碼的h264圖像包，對所有小于T的h264圖像包進行解碼，并對最接近T的時間點的h264圖像包進行圖像渲染。

所述步驟(c3)具體為：按照步驟(c2)的方式處理每一路PES視頻流，渲染出的一組視頻流圖像的時間點都最接近于T，以實現圖像顯示的相對同步性。

所述步驟(c4)具體為：

首先，讀取該PEA音頻流的最近一個未解碼的PCM音頻包對應的時間戳信息T_n，將時間戳信息T_n與T進行比較，若T_n<T，則對該PCM音頻包進行解碼；