[發(fā)明專利]帶有視頻時(shí)間上變換的處理方法和設(shè)備

無效

• 申請(qǐng)?zhí)枺?/td>: 200680025487.2
• 申請(qǐng)日: 2006-07-07
• 公開（公告）號(hào): CN101223786A
• 公開（公告）日: 2008-07-16
• 發(fā)明（設(shè)計(jì)）人: H·貝爾特
• 申請(qǐng)（專利權(quán)）人: 皇家飛利浦電子股份有限公司
• 主分類號(hào): H04N7/26
• 分類號(hào): H04N7/26;H04N7/46
• 代理公司: 中國專利代理(香港)有限公司
• 代理人: 李靜嵐;譚祐祥

????????????????????發(fā)明領(lǐng)域

本發(fā)明涉及可視通信系統(tǒng)，具體地，本發(fā)明涉及一種用于在可視電話系統(tǒng)中提供時(shí)間的上變換(temporal?up-conversion)以便增強(qiáng)可視圖像質(zhì)量的方法和設(shè)備。

????????????????????發(fā)明背景

一般來說，視頻質(zhì)量對(duì)于可視電話應(yīng)用的全球接受性而言是一個(gè)關(guān)鍵特征。極其關(guān)鍵和重要的是：可視電話系統(tǒng)把在另一側(cè)的情景盡可能精確地帶給最終用戶，以便增強(qiáng)用戶的情境意識(shí)(situational?awareness)且由此增強(qiáng)視頻呼叫的感知質(zhì)量。

雖然電視會(huì)議系統(tǒng)自從多年前被首次引入以來已經(jīng)得到了相當(dāng)大的關(guān)注，但它們一直沒有變得非常流行，而且還沒有出現(xiàn)這些系統(tǒng)的廣泛突破。這大體上是由于以下原因：通信帶寬的不充足的可利用性導(dǎo)致視頻和音頻傳輸?shù)牟豢山邮艿赜值陀植畹馁|(zhì)量，諸如低的分辨率、斑駁的圖像和長的延遲。

然而，新近的能夠提供足夠通信帶寬的技術(shù)創(chuàng)新正變得更廣泛地可用于越來越多數(shù)量的最終用戶。而且，帶有集成的顯示器、相機(jī)、話筒、揚(yáng)聲器的強(qiáng)大計(jì)算系統(tǒng)——諸如PC、移動(dòng)設(shè)備等等——的可用性正快速增長。由于上述的這些原因，人們可以預(yù)期在消費(fèi)者電視會(huì)議系統(tǒng)的使用和應(yīng)用中的一個(gè)突破和更高的質(zhì)量前景，因?yàn)殡娨晻?huì)議解決方案的視聽質(zhì)量變成了在這個(gè)大需求的市場上最重要的區(qū)別因素之一。

一般地說，已提出和實(shí)現(xiàn)了許多用于改進(jìn)電視會(huì)議圖像的傳統(tǒng)算法和技術(shù)。例如，各種高效的視頻編碼技術(shù)已經(jīng)被應(yīng)用來改進(jìn)視頻編碼效率。具體地，這樣的建議(參閱例如S.Daly等人的“Faee-BasedVisually-Optimized?Image?Sequence?Coding(基于面部的視覺優(yōu)化的圖像序列編碼)”，0-8186-8821-1/98，第443-447頁，IEEE)旨在基于對(duì)感興趣區(qū)域(ROI)和不感興趣區(qū)域(RONI)的選擇來改進(jìn)視頻編碼效率。特別地，所建議的編碼以這樣一種方式被執(zhí)行，即：大多數(shù)比特被分派給ROI而較少的比特被分派給RONI。因此，總的比特速率保持為恒定的，但在解碼后，ROI圖像的質(zhì)量高于RONI中圖像的質(zhì)量。其它的建議，諸如Bober等人的US?2004/0070666?A1，主要提出在應(yīng)用視頻編碼之前的智能變焦技術(shù)，使得相機(jī)視場中的人通過數(shù)字手段而放大，以致不相關(guān)的背景圖像部分不被傳送。換句話說，這種方法通過只編碼每個(gè)所捕獲圖像的經(jīng)選擇的感興趣區(qū)域而傳送圖像。

然而，以上所描述的傳統(tǒng)技術(shù)由于多種因素而并不經(jīng)常令人滿意。并未對(duì)所捕獲的圖像執(zhí)行進(jìn)一步的處理或分析以抗衡在視頻通信系統(tǒng)的傳輸中對(duì)圖像質(zhì)量有害的影響。而且，雖然改進(jìn)的編碼方案可能給出可接受的結(jié)果，但它們不能獨(dú)立地全面(across?the?board)應(yīng)用于所有的編碼方案，并且這樣的技術(shù)需要首先實(shí)施特定的視頻編碼和解碼技術(shù)。另外，這些技術(shù)中沒有一個(gè)技術(shù)適當(dāng)?shù)亟鉀Q了電視電信會(huì)議呼叫的較低情境意識(shí)和較差感知質(zhì)量的問題。

????????????????????????發(fā)明內(nèi)容

因此，本發(fā)明的目的是提供一種有效地應(yīng)對(duì)圖像質(zhì)量增強(qiáng)的新的和改進(jìn)的方法和設(shè)備，它解決了上述的問題，并可以是成本經(jīng)濟(jì)的和簡單易行的。

為此，本發(fā)明涉及一種處理視頻圖像的方法，它包括以下步驟：檢測在視頻應(yīng)用的圖像中的至少一個(gè)人；估計(jì)與圖像中所檢測到的人相關(guān)聯(lián)的運(yùn)動(dòng)；把圖像分割成至少一個(gè)感興趣區(qū)域和至少一個(gè)不感興趣區(qū)域，其中感興趣區(qū)域包括圖像中所檢測到的人；以及通過在感興趣區(qū)域中使用比在不感興趣區(qū)域中所應(yīng)用的更高的幀速率，而對(duì)包括該圖像的視頻信號(hào)施加時(shí)間幀處理。

還可以包括一個(gè)或多個(gè)以下的特征。

在本發(fā)明的一個(gè)方面，時(shí)間幀處理包括對(duì)感興趣區(qū)域施加的時(shí)間幀上變換處理(temporal?frame-up?conversion?processing)。

在另一個(gè)方面，時(shí)間幀處理包括對(duì)不感興趣區(qū)域施加的時(shí)間幀下變換處理(temporal?frame?down-conversion?processing)。

在又一個(gè)方面，該方法還包括把來自時(shí)間幀上變換處理步驟的輸出信息與來自時(shí)間幀下變換處理步驟的輸出信息相組合，以生成增強(qiáng)的輸出圖像。而且，可視圖像質(zhì)量增強(qiáng)步驟可以在與該圖像相關(guān)聯(lián)的視頻信號(hào)的或是傳送端處或是接收端處執(zhí)行。

而且，檢測在視頻應(yīng)用的圖像中所識(shí)別的個(gè)人的步驟可包括檢測圖像中的嘴唇活動(dòng)，以及檢測圖像中的音頻語音活動(dòng)。另外，對(duì)感興趣區(qū)域施加時(shí)間幀上變換處理的步驟可以僅僅在檢測到嘴唇活動(dòng)和/或音頻語音活動(dòng)時(shí)才實(shí)行。