[發明專利]一種基于時間戳的多路音視頻流同步解碼方法

在審

• 申請號: 201610158878.7
• 申請日: 2016-03-18
• 公開（公告）號: CN107205158A
• 公開（公告）日: 2017-09-26
• 發明（設計）人: 陳春豪;肖江劍;宋康康;姜麟建
• 申請（專利權）人: 中國科學院寧波材料技術與工程研究所
• 主分類號: H04N21/218
• 分類號: H04N21/218;H04N21/236;H04N21/43;H04N21/434;H04N21/439;H04N21/44;H04N21/8547
• 代理公司: 北京中政聯科專利代理事務所(普通合伙)11489
• 代理人: 郭曉華

1.一種基于時間戳的多路音視頻流同步解碼方法，其包括如下步驟：

(a)通過全景攝像機獲取多路視頻流，同時通過音頻采集器獲取單路音頻流；

(b)對每一路視頻流和單路音頻流進行預處理；

(c)通過基于時間戳的同步解碼算法對預處理后的多路視頻流和單路音頻流進行同步排序解碼。

2.一種如權利要求1所述的基于時間戳的多路音視頻流同步解碼方法，其特征在于，步驟(a)具體為通過拼接式全景攝像機采集同一時間、不同方向的多路視頻流，其中視頻流的格式為H.264；同時通過音頻采集器獲取對應的拍攝場景的PCM音頻流。

3.一種如權利要求2所述的所述的基于時間戳的多路音視頻流同步解碼方法，其特征在于，步驟(b)具體包括以下步驟：

(b1)劃分對每一路視頻流的每一幀圖像進行劃分，得到多個h264圖像包，并獲取每一h264圖像包的包長；

(b2)對所述單路PCM音頻流進行劃分得到PCM音頻包，并獲取PCM音頻包的包長；

(b3)在每一個h264圖像包和PCM音頻包添加附加信息，用于解碼識別。

4.一種如權利要求3所述的基于時間戳的多路音視頻流同步解碼方法，其特征在于，所述步驟(b3)具體為：

首先，在每一個h264圖像包以及PCM音頻包前均添加包頭信息、時間戳信息以及包長信息，其中，所述包頭信息用于每一路視頻流中不同h264圖像包/PCM音頻包之間的劃分和辨別，所述時間戳信息代表該幀圖像拍攝時的時間點/每個PCM音頻包的錄制時間，所述包長信息用于記錄該h264圖像包/PCM音頻包的存儲長度；

其次，以多路H.264格式的視頻流和單路PCM音頻流為基礎建立多路PES視頻流和單路PEA音頻流，PES視頻流和PEA音頻流的文件內容排序為：包頭信息、時間戳信息、包長信息、h264圖像包/PCM音頻包，其中，h264圖像 包來源于H.264格式的視頻流的內容，h264圖像包為每一幀圖像經過H.264編碼后得到，PCM音頻包來源于PCM音頻流的內容。

5.一種如權利要求4所述的基于時間戳的多路音視頻流同步解碼方法，其特征在于，步驟(c)具體包括以下步驟：

(c1)初始化多路PES視頻流和單路PEA音頻流同步解碼的時間條件；

(c2)對單路PES視頻流按時間戳信息進行解碼并渲染；

(c3)按照步驟(c2)的處理方式循壞處理完每一路PES視頻流，每處理完一次即可渲染得到一組同步的視頻流圖像；

(c4)對單路PEA音頻流按時間戳信息進行解碼并播放，以實現該時間點下的音視頻同步；

(c5)更新解碼渲染的時間點，重復步驟(c1)至步驟(c3)，完成下一組音視頻流的刷新。

6.一種如權利要求5所述的基于時間戳的多路音視頻流同步解碼方法，其特征在于，所述步驟(c1)具體為：初始化解碼時間T以及更新渲染時間Δt。

7.一種如權利要求6所述的基于時間戳的多路音視頻流同步解碼方法，其特征在于，所述步驟(c2)具體為：

首先，讀取該路PES視頻流的最近一個未解碼的h264圖像包對應的時間戳信息T_n，將時間戳信息T_n與T進行比較，若T_n<T，則對該h264圖像包進行解碼；

然后，依次判斷每一個未解碼的h264圖像包，對所有小于T的h264圖像包進行解碼，并對最接近T的時間點的h264圖像包進行圖像渲染。

8.一種如權利要求7所述的基于時間戳的多路視頻流同步解碼方法，其特征在于，所述步驟(c3)具體為：按照步驟(c2)的方式處理每一路PES視頻流，渲染出的一組視頻流圖像的時間點都最接近于T，以實現圖像顯示的相對同步性。