[發明專利]一種多通道音視頻同步播放處理方法

有效

• 申請號: 201410741040.1
• 申請日: 2014-12-08
• 公開（公告）號: CN104378675B
• 公開（公告）日: 2019-07-30
• 發明（設計）人: 王國清;林文山;陳輝;夏歡
• 申請（專利權）人: 廈門雅迅網絡股份有限公司
• 主分類號: H04N21/43
• 分類號: H04N21/43;H04N21/8547
• 代理公司: 廈門市精誠新創知識產權代理有限公司 35218
• 代理人: 方惠春

1.一種多通道音視頻同步播放處理方法，其特征在于：多通道音視頻數據同步處理包括以下步驟：

(1)、設定各個音頻、視頻通道對應的音頻、視頻數據基于同一個參考時鐘的時間戳T標記軸T₁-T_n秒，n為自然數；

(2)、一個以上視頻通道數據處理，其處理包括，a、為每個視頻通道建立一個基于時間戳T標記軸T₁-T_n秒排列的雙向幀鏈表T₁′-T_n′，n為自然數，該雙向幀鏈表T₁′-T_n′的每一個結點T_n′代表相對起始時間第T_n秒時間周期的結點，每個結點T_n′根據每秒視頻幀率F等量分割成F個幀f₁-f_F，F為自然數，每個結點T_n′內的每個幀f_F包含幀地址A、幀長度L、幀編號N和關鍵幀編號K，幀地址A表示當前幀在視頻數據流緩存隊列中的偏移地址；幀長度L表示當前幀的大小；幀編號N表示幀在當前雙向幀鏈表中的唯一編號，即從第1秒T₁′的第一個幀f₁從1開始累加；關鍵幀編號K表示當前幀之前距離當前幀最近的一個關鍵幀的幀編號；根據雙向幀鏈表中的幀編號N建立視頻數據流緩存隊列f₁-f_N，該視頻數據流緩存隊列f₁-f_N用于緩存連續的視頻數據裸流；b、將各個視頻通道接收的視頻數據流分別接收、逐幀解析并將各視頻幀數據存儲至各個視頻數據流緩存隊列f₁-f_N中，同時將存儲在視頻數據流緩存隊列f₁-f_N中的視頻幀數據根據時間戳將視頻幀數據的幀地址A、幀長度L、幀編號N和關鍵幀編號K映射至對應時間戳的雙向幀鏈表的對應幀結構，即對接收到的視頻流數據進行逐幀解析，每解出一個視頻幀數據，則按照如下步驟進行處理：①、將視頻幀數據保存到對應視頻流數據緩存隊列f₁-f_N中，同時記錄該視頻幀數據的偏移地址A和幀長度L，并累加當前幀編號N；②、如果該視頻幀數據是關鍵幀則更新最新關鍵幀編號K為當前幀編號N；③、根據每一視頻幀數據的時間戳T映射并保存到雙向幀鏈表對應幀結構，填充屬性值幀地址A、幀長度L、幀編號N和關鍵幀編號K；

(3)、一個以上音頻通道數據處理，其處理包括，a、為每個音頻通道建立一個基于時間戳T標記軸T₁-T_n秒排列的雙向幀鏈表T₁″-T_n″，n為自然數，該雙向幀鏈表T₁″-T_n″的每一個結點T_n″代表相對起始時間第T_n秒時間周期的結點，每個結點T_n″根據每秒視頻幀率F等量分割成F個幀f₁′-f_F′，F為自然數，每個結點T_n″內的每個幀f_F′包含幀地址A′、幀長度L′、幀編號N′和關鍵幀編號K′，幀地址A′表示當前幀在音頻數據流緩存隊列中的偏移地址；幀長度L′表示當前幀的大小；幀編號N′表示幀在當前雙向幀鏈表中的唯一編號，即從第1秒的第一個幀從1開始累加；關鍵幀編號K′表示當前幀之前距離當前幀最近的一個關鍵幀的幀編號；根據雙向幀鏈表中的幀編號N′建立音頻數據流緩存隊列f₁′-f_N′，該音頻數據流緩存隊列f₁′-f_N′用于緩存連續的音頻數據裸流；b、根據音頻采樣頻率P Hz、采樣值B bit、采樣周期T毫秒和視頻幀率F fps，通過公式：計算出音頻幀固定值L Byte；c、接收并解碼音頻流數據進行處理，按照上一步b中計算出的音頻幀大小L對解碼后的音頻流數據進行等量分割，每次取L長度的音頻流數據為一個音頻幀，并按照如下步驟進行處理：①、將音頻幀數據保存到音頻數據流緩存隊列中，記錄偏移地址A′和幀長度L′，并累加當前幀編號N′；②、根據每一音頻幀數據的時間戳T映射并保存到雙向幀鏈表對應幀結構，填充屬性值幀地址A′、幀長度L′、幀編號N′和關鍵幀編號K′，其中音頻幀的關鍵幀編號K′等同自身幀編號N′；

(4)、多通道音視頻同步播放控制，定義各個音頻、視頻通道上的雙向幀鏈表與數據流緩存隊列構成的一個幀通道，從而基于時間戳標記軸與各個幀通道進行同步播放控制，同步控制步驟：a、計算所有幀通道的相對起始參考時間，通過構建各個幀通道得出每個幀通道的起始參考時間T_R，定義所有幀通道中最小起始參考時間為所有幀通道的最大相對起始播放時間T_R-MIN；b、以上一步中得出的T_R-MIN作為公有參考時間，調整所有幀通道的參考時間和幀編號，在每個幀通道的雙向幀鏈表的頭部依次填充T_R*F-T_R-MIN*F個空幀，保證每個幀通道的數據從同一個時間點開始播放，之后對各個幀通道的所有幀編號N通過調整公式N＝N+T_R*F-T_R-MIN*F進行調整；c、實現同步播放控制，即當所有幀通道中的當前幀均有數據時即可開始同步播放，當某個幀通道數據已經接受完畢但其他通道還有數據時，則播放到大于該幀通道最大幀編號的幀時，對該幀通道后續默認填充空幀，以保證其他幀通道的幀正常播放，同時保證所有幀通道的長度相等。