[發明專利]多媒體數據時間修正方法、計算機裝置、計算機可讀存儲介質

有效

• 申請號: 201711483318.X
• 申請日: 2017-12-29
• 公開（公告）號: CN108156500B
• 公開（公告）日: 2020-07-31
• 發明（設計）人: 向宏衛
• 申請（專利權）人: 珠海全志科技股份有限公司
• 主分類號: H04N21/43
• 分類號: H04N21/43;H04N21/434;H04N21/8547
• 代理公司: 珠海智專專利商標代理有限公司 44262
• 代理人: 林永協

本發明公開一種多媒體數據時間修正方法、計算機裝置、計算機可讀存儲介質，該方法包括獲取多媒體數據的時間數據，判斷時間數據是否為連續的時間數據；如確定時間數據不是連續的時間數據，根據多媒體數據的歷史數據中的時間數據計算時間數據的第一擬合直線，計算當前的多媒體數據的時間數據與第一擬合直線之間的距離，如該距離大于預設距離閾值，清空多媒體數據的歷史數據的時間數據，并且使用當前及后續接收的多媒體數據的時間數據計算第二擬合直線，使用第二擬合直線計算當前及后續多媒體數據的修正時間數據。該計算機裝置可以實現上述的多媒體數據時間修正方法。本發明可以避免在對多媒體數據的時間重構是出現視頻靜止或者音頻故障的情況。

技術領域

本發明涉及多媒體數據的處理領域，尤其對多媒體數據的時間數據進行修正的方法、實現這種方法的計算機裝置以及計算機可讀存儲介質。

背景技術

隨著網絡技術的發展，通過網絡傳輸音視頻文件已經是廣泛應用的技術，尤其是智能手機、平板電腦等便攜式電子設備的普及，人們已經越來越廣泛的使用智能手機、平板電腦等電子設備觀看視頻文件。由于視頻文件包含有圖像數據以及音頻數據，而圖像數據以及音頻數據往往是分別使用不同的數據幀傳輸的，為了確保圖像數據與音頻數據的同步播放，通常需要對圖像數據與音頻數據進行同步處理。

在數字電視和網絡電視直播過程中，處理多媒體數據，即視頻數據中的圖像數據與音頻數據的同步是關鍵技術，尤其在信號質量或者網絡狀況較差的情況下，一旦圖像數據與音頻數據不同步，會直接導致接收端接收到的數據出錯，能否準確地做好圖像數據與音頻數據的同步直接影響到用戶體驗。

現有的多媒體數據同步技術大多是通過解復用器(demux)從傳輸流中提取節目時鐘數據(PCR)和顯示時間戳(PTS)的數據實現，其中節目時鐘數據可以用于恢復電子設備的本地系統時鐘，當音頻數據和圖像數據的顯示時間戳的數據與本地系統時鐘值匹配時，將實現圖像數據與音頻數據的同步。

由于多媒體數據的傳輸是一幀一幀的傳輸的，每一幀圖像數據以及每一幀音頻數據均包含顯示時間戳PTS的數據，但是并不是每一幀數據都包含節目時鐘數據PCR，節目時間數據是在多媒體數據傳輸的第一幀傳輸的，以后每間隔一段時間發送一次，用于校準本地系統時鐘。因此，在接收到當前數據幀的顯示時間戳以后，根據當前幀數據與上一幀數據的時間差，可以計算出當前幀數據的顯示時間戳的預估值，并且可以根據該預估值來判斷當前數據幀的顯示時間戳是否與預估值一致，如果不一致，則表示當前數據幀的顯示時間戳不連續。

這種不連續的情況可能是有多種原因引起的，即多媒體數據的接收端接收到節目時鐘數據和顯示時間戳會由于多種原因而出現錯誤，例如在弱信號或者網絡傳輸過程出現噪聲等條件下，或者編碼端會出現錯誤并傳送錯誤的節目時鐘數據和顯示時間戳，當節目時鐘數據和顯示時間戳出現不連續時，錯誤的節目時鐘數據和顯示時間戳會中斷圖像數據與音頻數據的同步，導致圖像數據與音頻數據不同步。

現有的技術在處理節目時鐘數據和顯示時間戳不同步時并不理想，現有的方法是利用解復用器計算節目時鐘數據的跳躍量，并通過將顯示時間戳加上節目時鐘數據的跳躍量來對顯示時間戳進行重建，從而獲取新的顯示時間戳。

該方法的存在兩個問題：首先，使用節目時鐘數據的跳躍量并不足以校正顯示時間戳以保持或達到音視頻同步，因為在一些情況下，使用節目時鐘數據計算出來的偏移與顯示時間戳不連續性無關，從而導致視頻靜幀或者音頻故障，也就是視頻數據播放而音頻靜止，或者音頻播放而視頻靜止，嚴重影響用戶的體檢。其次，如果節目時鐘數據本身出現錯誤，那么通過節目時鐘數據計算出來的偏移量也是錯誤的，在這種情況下，同樣會導致視頻靜幀或者音頻故障。

發明內容

本發明的第一目的是提供一種計算量小且能夠避免視頻靜止或者音頻故障的多媒體數據時間修正方法。

本發明的第二目的是提供一種實現上述多媒體數據時間修正方法的計算機裝置。