[發明專利]用于管理視頻流播的技術

有效

• 申請號: 201410017436.1
• 申請日: 2014-01-15
• 公開（公告）號: CN103929640B
• 公開（公告）日: 2018-03-06
• 發明（設計）人: N.R.安德里斯科;A.潘塔姆貝卡;D.加特
• 申請（專利權）人: 英特爾公司
• 主分類號: H04N19/103
• 分類號: H04N19/103
• 代理公司: 中國專利代理(香港)有限公司72001
• 代理人: 葉曉勇,湯春龍

技術領域

本文描述的實施例通常涉及圖像處理，并且更特別地涉及視頻流播。

背景技術

由于數據存儲能力、處理器能力和通信基礎結構已經得到提升，因此跨通信網絡（例如，因特網和移動無線網絡）的視頻流播已經變得普遍存在。應用（例如，運動事件、視頻會議的實況流播、以及其它實時流播應用）正在變得越來越流行。此外，錄制的內容（例如，電影和用戶生成的視頻）的視頻流播也正在變得越來越流行。

由于表示視頻幀所需的大的數據量和幀速率（其可超過每秒24幀），大多數這樣的應用消耗很大的帶寬。已經觀察到的一個技術趨勢是視頻流播的使用需求超過數據網絡（例如，因特網和無線網絡）中的帶寬增長。此外，在這樣的網絡上的帶寬可以按不可預料的方式波動。

由于帶寬限制，視頻流播應用可能在視頻流播期間經歷幀損耗、緩沖或抖動。另一方面，一些現代應用可響應于低的帶寬狀況而自動地降低正在流播的視頻內容的分辨率以便減少數據率。在所有這些示例中，視頻流播應用可能無法在視頻流播期間給予可接受的用戶體驗。

關于這些和其它考慮，需要本改進。

附圖說明

圖1描繪根據各實施例的用于流播視頻的一個布置。

圖2示出與各實施例一致的用于操作設備的布置。

圖3示出與附加實施例一致的用于操作設備的布置。

圖4示出與附加實施例一致的用于操作設備的另一布置。

圖5描繪選擇性編碼部件的一個實施例。

圖6A到圖6C描繪與本實施例一致的視頻流播的選擇性編碼的一個示例。

圖7A-圖7E圖示根據另外的實施例的生成選擇性編碼的視頻流的一個示例。

圖8A-圖8C描繪與各實施例一致的選擇性編碼的視頻內容的解碼的場景。

圖8D描繪在非選擇性編碼之后的視頻幀解碼的示例。

圖9A-圖9D圖示主要對象區域和背景區域的示例。

圖10A到圖10C描繪視頻流播的動態選擇性編碼的一個場景。

圖11描繪示范性第一邏輯流程。

圖12描繪示范性第二邏輯流程。

圖13圖示一個系統實施例。

圖14圖示另一系統實施例。

圖15圖示根據本公開的實施例來安排的示例裝置。

具體實施方式

本實施例提供改進的視頻流播，并且特別地通過選擇性編碼視頻內的感興趣的對象來增強流播的視頻圖像的質量。這樣的感興趣的對象可分類為圖像質量在流播的視頻中被保持的對象區域，并且組成流播的視頻的視頻幀的其它部分可不那么重要并且因此可與主要對象區域不同地編碼。在本文中，術語“質量”和“圖像質量”同義地用來指代在視頻幀的一部分的編碼之前、編碼期間和解碼之后的那部分的信息內容的級別或分辨率。因此，以較高質量編碼的視頻幀的一部分可保持更多的信息并且在解碼之后可呈現比較低質量部分更清晰的圖像。此選擇性編碼允許以總體較低的數據率流播視頻，并且保持視頻的重要部分（本文將其稱作“主要對象區域”）的質量。特別地，主要對象區域可組成對應于示出當呈現在顯示器上時由視頻幀產生的場景內的感興趣的區域或一個或多個對象的像素的集合的視頻幀的一部分。在一些實施例中，可選擇流播的視頻的選擇性編碼部分來簡單地減少用于傳送視頻內容的數據率，即使是帶寬可用于以與高的圖像質量一致的數據率來流播視頻幀的所有部分。在其它實施例中，可基于可用的帶寬不足的確定來觸發在視頻流播期間的選擇性編碼。

可變化來改變圖像質量的質量特征的一些示例包含用于視頻幀的圖像部分的傳送的位速率；在塊運動補償中使用的宏塊的大小；使用或不使用可變塊運動補償來編碼圖像幀的不同部分；與有損壓縮相反的無損的使用、以及其它特征。實施例不限于此情境。因此，在一個場景中，可以用比以相對低的圖像質量編碼的可比較大小的背景區域更多的位來編碼以相對較高的圖像質量編碼的主要對象區域。在另一場景中，可以用無損壓縮來編碼主要對象區域，并且用有損壓縮來編碼背景區域。例如，可減少經受有損壓縮的背景區域的色彩空間來只反映視頻圖像的最常用色彩，而在壓縮期間不減少主要對象區域的色彩空間。

一些實施例包括使用由圖形硬件找到或利用的面部檢測引擎來在低帶寬場景期間確定視頻幀中的感興趣的區域。然后，用較高質量來編碼組成主要對象區域的感興趣的區域并且用較低質量來編碼視頻幀的剩余部分。這可包括根據編碼的部分要接收較高質量的編碼或較低質量的編碼來變化前述質量特征中的一個或多個。