[發明專利]一種插入視頻關鍵幀的方法及裝置

無效

• 申請號: 200610138138.3
• 申請日: 2006-11-14
• 公開（公告）號: CN101184226A
• 公開（公告）日: 2008-05-21
• 發明（設計）人: 劉俊
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: H04N7/26
• 分類號: H04N7/26;H04N7/24
• 代理公司: 北京同達信恒知識產權代理有限公司
• 代理人: 宋松

技術領域

本發明涉及互聯網及通信領域，特別是涉及一種插入視頻關鍵幀的方法及裝置。

背景技術

隨著互聯網的迅猛發展以及多媒體技術的日益成熟，視頻通信的市場應用越來越廣泛，實現視頻通信的方式也變得多種多樣，如可視電話、即時通信、視頻聊天、網絡電視、IPTV以及遠程監控、遠程醫療等。視頻通信發展的廣闊前景使其成為繼話音通信之后又一重要的通信形式。

實現視頻通信的基礎是高效的視頻壓縮算法。目前主流的視頻壓縮標準有MPEG4、H264等。在這些壓縮技術中，編碼圖像一般分為三種類型：內幀(I)、幀間幀(P)和雙向幀(B)。內幀利用了空間相關性，采用與JPEG類似的方式對靜止的圖像進行編碼。幀間幀利用了時間相關性，使用前面的幀作為參考幀進行預測。雙向幀則同時利用前面的幀和后面的幀作為參考幀進行預測。預測之后將產生殘差數據，對殘差數據進行DCT變換和量化，輸出編碼碼流即完成視頻壓縮過程。其中內幀又被稱為關鍵幀，關鍵幀可以被獨立解碼，不需要參考其他幀的信息。因此在視頻接入時起始幀必須是關鍵幀，此外，為了防止在視頻通信的過程中因為網絡丟包而造成中斷，必須在連續的視頻流中間隔插入關鍵幀，從而能夠在丟包后恢復視頻傳輸。

但關鍵幀的編碼特性決定了其壓縮比較低，輸出碼流較大，因此頻繁地插入關鍵幀將占用更多的網絡帶寬，特別對于網絡電視這類基于組播的流媒體應用，為了保證用戶能夠較快的接入，必須以較短的時間間隔插入關鍵幀，但由于其視頻內容本身變化就比較大，再頻繁地以內幀方式編碼將造成網絡流量增大，降低視頻傳輸的效率。因此必須使用自適應的關鍵幀插入方法，一方面確保視頻接入和傳輸順利進行，另一方面在同等視頻質量條件下盡可能降低網絡流量。

現有技術一般都采用以固定時間間隔插入關鍵幀的方法，例如微軟的流媒體服務一般都以8秒為間隔插入關鍵幀。此外也有一些一對一的視頻通信業務(例如視頻聊天)，采用以較長的時間間隔插入關鍵幀，當在丟包時向對端請求立即發送關鍵幀。

以上述固定時間間隔插入關鍵幀的方法將造成網絡流量增加，降低視頻傳輸的效率。而請求關鍵幀的方法無法用于一對多的視頻通信業務，而且在網絡狀況較差時，請求關鍵幀的延時可能很長，造成視頻通信長時間中斷。

發明內容

本發明提供一種插入視頻關鍵幀的方法及裝置，用以解決現有技術無法兼顧視頻傳輸效率及視頻流暢度的問題。

本發明方法包括下列步驟：發送端實時檢測相鄰兩幀視頻圖像的變化度；當所述變化度大于預設的閾值時，將當前幀編碼為關鍵幀，并插入視頻流中。

進一步，所述檢測相鄰兩幀視頻圖像的變化度，包括下列步驟：將當前幀及其上一幀視頻圖像分別等分成二維宏塊；在當前幀中選定宏塊，并分別搜索各個選定宏塊在所述上一幀中的最優匹配宏塊，同時記錄每一最優匹配宏塊與對應選定宏塊的絕對誤差和SAD；統計大于第一預設值的絕對誤差和SAD的數量，并以該數量作為相鄰兩幀視頻圖像的變化度。

又進一步，當所述統計出的數量大于第一閾值時，將當前幀編碼為關鍵幀，并插入視頻流中。

更進一步，若所述統計出的數量大于第一閾值，則所述檢測相鄰兩幀視頻圖像的變化度還包括下列步驟：分別計算當前幀及其上一幀視頻圖像在Y分量上的直方圖；計算所述兩個直方圖的差值，并以所述差值作為相鄰兩幀視頻圖像的變化度；之后，發送端將所述差值與第二閾值進行比較，當所述差值大于第二閾值時，將當前幀編碼為關鍵幀，并插入視頻流中。

綜上所述，當檢測到在第二預設值設定的幀數內未插入過關鍵幀時，則在視頻流中強制插入關鍵幀。

本發明的視頻傳輸發送端，包括：

視頻輸入模塊，用于獲取視頻幀圖像；

視頻編碼模塊，用于將所述視頻輸入模塊獲取的視頻幀圖像進行編碼；

視頻發送模塊，用于發送經視頻編碼模塊編碼后輸出的視頻流；

關鍵幀插入模塊，用于從視頻輸入模塊中實時檢測相鄰兩幀視頻圖像的變化度，當所述變化度大于預設的閾值時，指示視頻編碼模塊將當前幀編碼為關鍵幀。

其中，所述關鍵幀插入模塊進一步包括：第一級量度模塊，用于將當前幀及其上一幀視頻圖像分別等分成二維宏塊；在當前幀中選定宏塊，并分別搜索各個選定宏塊在所述上一幀中的最優匹配宏塊，同時記錄每一最優匹配宏塊與對應選定宏塊的絕對誤差和SAD；統計大于第一預設值的絕對誤差和SAD的數量，并以該數量作為相鄰兩幀視頻圖像的變化度。