[發明專利]用于視頻通信的參考幀管理方法和設備

有效

• 申請號: 201710541528.3
• 申請日: 2017-07-05
• 公開（公告）號: CN107734332B
• 公開（公告）日: 2021-12-14
• 發明（設計）人: 戴偉;莊澤森;樓劍;陳乾宗;李佳俐
• 申請（專利權）人: 達音網絡科技（上海）有限公司
• 主分類號: H04N19/137
• 分類號: H04N19/137;H04N19/172;H04N19/192;H04N19/196;H04N21/433;H04N21/4402;H04N21/442
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 余明偉

本發明提供了針對網絡中的視頻通信進行自適應地管理參考幀的系統和方法。在連接過程中，基于所有客戶端的網絡類型和網絡狀況，系統自適應地確定每個I幀之間的間隔、編碼比特流的比特率以及編碼視頻的分辨率，以實現快速連接。基于其他客戶端的反饋和網絡狀況，系統可以決定重新進入連接階段。在通信過程中，根據其他客戶端的反饋和網絡狀況，系統可為當前幀設置適當的參考幀，將解碼圖像緩沖區中的參考幀標識為長/短期參考幀或將其標識為不作參考；將當前幀標識為長期參考幀、短期參考幀、不作參考或對當前幀不予編碼；自適應地改變解碼圖像緩沖區中長期參考幀數量相對于的短期參考幀數量的比率；自適應地改變將當前幀標識為長期參考幀相對于標識為短期參考幀的頻率比。

相關申請的交叉引用

本申請要求2016年7月6日提交的標題為“用于視頻通信的參考幀管理方法和設備”的美國臨時專利申請號為62/359,142的權益，其全部內容通過本引用納入本文。

技術領域

本公開涉及用于視頻通信中處理建立連接和管理參考幀的系統和方法。具體而言，本發明的實施例涉及在網絡下用于視頻通信中處理建立連接和管理參考幀的系統和方法。

背景技術

隨著通信技術的日益進步和繁榮，內容共享已經變得司空見慣。例如視頻通信經歷了不斷增長的需求，普及度也已大幅提升。

在視頻編碼中，引用幀內預測和幀間預測技術減少視頻數據中固有的空間和時間冗余。在幀間預測中，在編碼器端對當前塊進行編碼時，解碼圖像緩沖區(DPB)中的一個或多個先前重建幀將為當前幀構造一個或兩個參考幀列表以找到其最相似的塊。在解碼器端，基于比特流中的信息，解碼器將從其DPB中找到對應的重建幀作為其參考幀，并在參考幀中找到相應的塊位置以便進行重建。

參考幀可有兩種形式：短期參考幀(short term reference frame)和長期參考幀(long term reference frame)。短期參考幀將會在DPB已滿時自動被清除，或者由顯式命令來清除。而長期參考幀則只能通過顯式命令來清除。在解碼器端，在當前幀參考列表中的所有參考幀都已收到時，才可以正確解碼當前幀。

由于網絡限制，在傳輸中總有可能會發生丟包的情況。一旦發生丟包，一種可能的解決方法是要求發送方重新發送該數據包，但是這就可能花費長時間來獲得丟失的包。然而，對于實時視頻通信、直播視頻通信或交互式視頻通信等場景，此時間延遲可能是不可接受的。因此，在這些情況下發生丟包時，當前幀將被丟棄，并且可能之后也無法用做其他幀的參考幀，這在傳統的參考幀管理方法下可能會導致后續幀的無法解碼的問題。尤其是建立連接的階段，由于I幀非常大，所以很可能具有高丟包率。因此，如何盡快建立連接也是一個非常具有挑戰性的問題。

因此，我們提出了全新的系統和方法來建立網絡連接并管理在丟包情況下視頻通信中的參考幀，特別是用于實時視頻通信、直播視頻通信和交互式視頻通信等場景。

發明內容

本發明的實施例提出了用于網絡視頻通信中快速建立連接以及自適應地管理參考幀的系統和方法。在連接過程中，基于所有客戶端的網絡類型和網絡狀況如網絡帶寬、網絡延遲和網絡擁塞等，系統可以自適應地確定每個I幀之間的間隔、編碼比特流的比特率、以及編碼視頻的分辨率等來實現快速連接。此外，基于其他客戶端的反饋和網絡狀況，包括但不限于當前帶寬過低或過高、系統長時間未收到反饋信息、網絡擁塞情況嚴重等，系統可以決定重新進入連接過程。在通信階段，基于其他客戶端的反饋及網絡狀況，系統可以(但不限于)為當前幀設置適當的參考幀；將解碼圖像緩沖區(DPB)中的參考幀標識為長期或短期參考幀，或將其標識為不作參考；將當前幀標識為長期參考幀、短期參考幀、不作參考或不對當前幀進行編碼；自適應地調整DPB中長期參考幀數量相對于的短期參考幀數量的比率；自適應地調整將當前幀標識為長期參考幀相對于將當前幀標識為短期參考幀的頻率比。

附圖說明

為了更清楚地理解本發明的實施例，現將對一些實施例以示例的形式說明，并參照附圖進行闡述，其中：