[發明專利]傳輸流復用音視頻時間同步方法

有效

• 申請號: 202010738851.1
• 申請日: 2020-07-28
• 公開（公告）號: CN111988641B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 李國平;王國中;范濤;侯世維;商習武;趙曉麗;沈怡君
• 申請（專利權）人: 上海工程技術大學
• 主分類號: H04N21/236
• 分類號: H04N21/236;H04N21/2368
• 代理公司: 上海唯智贏專利代理事務所(普通合伙) 31293
• 代理人: 姜曉艷

1.一種傳輸流復用音視頻時間同步方法，其特征在于，所述傳輸流復用音視頻時間同步方法包括：

處理視頻每一幀碼流的DTS和PTS，使視頻每一幀碼流的DTS以視頻幀的時間長度連續累計，使視頻每一幀碼流的PTS以視頻幀的時間長度連續累計；

處理音頻每一幀碼流的DTS和PTS，使音頻每一幀碼流的DTS以音頻幀的時間長度連續累計，使音頻每一幀碼流的PTS以音頻幀的時間長度連續累計；

根據音頻幀與視頻幀時間同步情況，判斷處理后的時間：若音頻幀原始DTS與視頻幀原始DTS之間的時間差小于第一閾值，則音視頻幀處在同步狀態，保持音視頻時間一致調整；

進入復用器進行復用；

在視頻第一幀數據進入復用器時，video_cts＝video_dts；在音頻第一幀數據進入復用器時，audio_cts＝audio_dts；

其中視頻的DTS累計時間為video_cts；每幀視頻的DTS為video_dts；

對每一幀視頻數據進入復用器時：

video_delta＝video_dts-video_cts

last_video_dts＝video_dts

video_dts＝video_cts

video_pts＝video_pts-video_delta

video_cts＝video_cts+video_length

其中，進入復用器的每幀視頻時間長度為video_length，每幀視頻的PTS為video_pts，每幀音頻時間長度為audio_length，每幀音頻的PTS為audio_pts，每幀音頻的DTS為audio_dts，音視頻時間同步門限為delta_thresh，取值根據實驗獲得，范圍在10～100000000；

視頻最近的video_dts為last_video_dts；視頻的DTS時間差為video_delta；設音頻的DTS累計時間為audio_cts；音頻最近的audio_dts為last_audio_dts；音頻的DTS時間差為audio_delta；

對每一幀音頻數據進入復用器時：

audio_delta＝audio_dts-audio_cts

last_audio_dts＝audio_dts

如果|last_video_dts-last_audio_dts|delta_thresh

則{

audio_delta＝video_delta

audio_cts＝last_audio_dts-video_delta

}

audio_dts＝audio_cts

audio_pts＝audio_pts-audio_delta

audio_cts＝audio_cts+audio_length。

2.如權利要求1所述的傳輸流復用音視頻時間同步方法，其特征在于，由于每一幀音頻的audio_dts和audio_pts相等，因此上面表達也可以表達如下：

audio_delta＝audio_pts-audio_cts

last_audio_dts＝audio_pts

如果|last_video_dts-last_audio_dts|delta_thresh

則{

audio_delta＝video_delta

audio_cts＝last_audio_dts-video_delta

}

audio_pts＝audio_cts

audio_dts＝audio_dts-audio_delta

audio_cts＝audio_cts+audio_length。