[發(fā)明專利]圖像處理裝置和圖像處理方法

在審

• 申請?zhí)枺?/td>: 201310459489.4
• 申請日: 2013-09-27
• 公開（公告）號: CN103716596A
• 公開（公告）日: 2014-04-09
• 發(fā)明（設(shè)計(jì)）人: 前川博俊;池本和人;松元秀樹
• 申請（專利權(quán)）人: 索尼公司
• 主分類號: H04N7/24
• 分類號: H04N7/24
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王萍;陳煒

技術(shù)領(lǐng)域

本公開涉及一種圖像處理裝置和圖像處理方法。

背景技術(shù)

在從服務(wù)器通過網(wǎng)絡(luò)向客戶端分發(fā)視頻或音頻的流系統(tǒng)中，例如，存在由于網(wǎng)絡(luò)的通信狀態(tài)的改變引起的數(shù)據(jù)傳輸速率的變化（抖動）。當(dāng)數(shù)據(jù)傳輸速率低于設(shè)計(jì)中的值的通信狀態(tài)持續(xù)時，存在發(fā)生幀丟失的可能性。即，幀丟失意味著由于數(shù)據(jù)傳輸?shù)难舆t正常狀況下已顯示的幀圖像沒有顯示在客戶端上。

為了防止發(fā)生幀丟失，例如，已經(jīng)提出了在日本未審查專利申請公開第2011-119971號和日本未審查專利申請公開第2002-084339中公開的技術(shù)。在這些技術(shù)中，服務(wù)器的數(shù)據(jù)傳輸速率根據(jù)客戶端中幀圖像的數(shù)據(jù)的緩存器狀態(tài)來改變。當(dāng)客戶端中正緩存的幀圖像的數(shù)據(jù)減少時，可以通過降低數(shù)據(jù)的傳輸速率來防止幀丟失的發(fā)生，但是這導(dǎo)致了圖像質(zhì)量的下降。

發(fā)明內(nèi)容

但是，對于其中服務(wù)器中實(shí)時生成的幀圖像被順序編碼然后傳輸至客戶端的流系統(tǒng)而言，難以采用例如通過使要傳輸?shù)膸瑘D像稀疏來降低數(shù)據(jù)的傳遞速率的方法，這是因?yàn)橐幌盗袔瑘D像不是預(yù)先提供的。另外，當(dāng)實(shí)現(xiàn)實(shí)時性質(zhì)重要時，要緩存在客戶端中的幀圖像變小。因此，如上所述根據(jù)緩存器狀態(tài)來采取任何動作都是不容易的。

因此，根據(jù)本公開的一個實(shí)施例，在其中實(shí)時生成幀圖像的流系統(tǒng)中提供了一種新的和改進(jìn)的圖像處理裝置和圖像處理方法，能夠通過允許服務(wù)器側(cè)預(yù)測在客戶端中接收幀圖像時的延遲來更流暢地輸出幀圖像。

根據(jù)本公開的一個實(shí)施例，提供了一種圖像處理裝置，包括：渲染器，被配置為實(shí)時生成幀圖像；編碼器，被配置為對幀圖像進(jìn)行編碼以生成編碼數(shù)據(jù)；發(fā)送器，被配置為將編碼數(shù)據(jù)通過網(wǎng)絡(luò)傳輸至客戶端裝置，該客戶端裝置被配置為對編碼數(shù)據(jù)進(jìn)行解碼并且輸出幀圖像；以及控制器，被配置為預(yù)測在客戶端裝置中接收編碼數(shù)據(jù)時產(chǎn)生的延遲的增大并且基于該預(yù)測來控制渲染器對幀圖像的生成間隔。

根據(jù)本公開的一個實(shí)施例，提供了一種圖像處理方法，包括：實(shí)時生成幀圖像；對幀圖像進(jìn)行編碼以生成編碼數(shù)據(jù)；將編碼數(shù)據(jù)通過網(wǎng)絡(luò)傳輸至客戶端裝置，該客戶端裝置被配置為對編碼數(shù)據(jù)進(jìn)行解碼并且輸出幀圖像；以及預(yù)測在客戶端裝置中接收編碼數(shù)據(jù)時產(chǎn)生的延遲的增大并且基于該預(yù)測來控制幀圖像的生成間隔。

其通過允許服務(wù)器側(cè)預(yù)測在客戶端中接收幀圖像時的延遲以及通過基于該預(yù)測來控制幀圖像的生成間隔，能夠預(yù)先防止接收時的可能延遲以及在客戶端中更流暢地輸出幀圖像。

根據(jù)本公開的實(shí)施例，在其中實(shí)時生成幀圖像的流系統(tǒng)中，能夠通過允許服務(wù)器側(cè)預(yù)測在客戶端中接收幀圖像時的延遲來更流暢地輸出幀圖像。

附圖說明

圖1是示出了根據(jù)本公開的一個實(shí)施例的流系統(tǒng)的整體配置的示意圖；

圖2是示出了根據(jù)本公開的一個實(shí)施例的流系統(tǒng)中的信息流的示例的圖；

圖3是示出了根據(jù)本公開的一個實(shí)施例的流系統(tǒng)中的客戶端和服務(wù)器的功能配置的示意圖；

圖4是示出了根據(jù)本公開的一個實(shí)施例的流處理單元的功能配置的示意圖；

圖5是用于說明本公開的第一實(shí)施例的圖；

圖6是用于說明本公開的第二實(shí)施例的圖；以及

圖7是用于說明信息處理設(shè)備的硬件配置的框圖。

具體實(shí)施方式

下文中，將參照附圖詳細(xì)描述本公開的優(yōu)選實(shí)施例。注意，在本說明書及附圖中，基本上具有相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件用相同的參考標(biāo)號表示，并且將省略這些結(jié)構(gòu)元件的重復(fù)說明。

將按以下順序給出描述。

1.流系統(tǒng)配置

1-1.整體配置

1-2.客戶端和服務(wù)器配置

1-3.流處理單元配置

2.用于控制圖像生成速率的配置

2-1.第一實(shí)施例

2-2.第二實(shí)施例

3.硬件配置

4.補(bǔ)充

（1.流系統(tǒng)配置）

將參照圖1至4描述本公開的實(shí)施例所應(yīng)用的流系統(tǒng)的配置。

（1-1.整體配置）

圖1是示出了根據(jù)本公開的實(shí)施例的流系統(tǒng)的整體配置的示意圖。參照圖1，流系統(tǒng)10包括客戶端100和被配置為向客戶端100分發(fā)流內(nèi)容的服務(wù)器（服務(wù)商210、節(jié)點(diǎn)220和邊緣230）。客戶端100和各個服務(wù)器通過各種類型的有線或無線網(wǎng)絡(luò)彼此連接。