[發(fā)明專(zhuān)利]用于處理外圍圖像的方法和設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201680015509.0
• 申請(qǐng)日: 2016-03-02
• 公開(kāi)（公告）號(hào): CN107743637B
• 公開(kāi)（公告）日: 2023-02-24
• 發(fā)明（設(shè)計(jì)）人: P.吉洛特爾;F.厄本;L.圖爾班
• 申請(qǐng)（專(zhuān)利權(quán)）人: 交互數(shù)字麥迪遜專(zhuān)利控股公司
• 主分類(lèi)號(hào): G06T5/00
• 分類(lèi)號(hào): G06T5/00
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 張貴東

公開(kāi)了用于處理在顯示時(shí)擴(kuò)展到中心圖像的邊界之外的至少一個(gè)外圍圖像的方法。該方法包括將外圍圖像的亮度調(diào)整到人類(lèi)視覺(jué)特性，其中處理外圍圖像的亮度使得從觀看者的視場(chǎng)中的外圍圖像發(fā)出的呈現(xiàn)的光保持為低，并接近于僅通過(guò)中心視圖呈現(xiàn)的光。根據(jù)第一實(shí)施例，該方法包括：通過(guò)將光校正函數(shù)應(yīng)用到輸入亮度，將外圍圖像的亮度調(diào)整到參考反射率水平，其中這樣的光校正函數(shù)是通過(guò)測(cè)量調(diào)整到顯示外圍圖像的表面的參考反射率水平的顯示的外圍圖像的呈現(xiàn)的亮度水平得到的。根據(jù)第二實(shí)施例，進(jìn)一步調(diào)節(jié)亮度到關(guān)于參考反射率的真實(shí)反射率。根據(jù)第三實(shí)施例，增加外圍圖像中移動(dòng)對(duì)象的亮度。

1.技術(shù)領(lǐng)域

在下文中，公開(kāi)了一種用于處理圖像的設(shè)備和方法。特別地，公開(kāi)了一種用于處理擴(kuò)展到中心圖像的邊界之外的至少一個(gè)外圍圖像的設(shè)備和方法。

2.背景技術(shù)

本節(jié)旨在向讀者介紹本領(lǐng)域的各個(gè)方面，這可能與以下描述和/或要求保護(hù)的本原理的各個(gè)方面有關(guān)。這種討論被認(rèn)為有助于向讀者提供背景信息，以便更好地了解本原理的各個(gè)方面。因此，應(yīng)當(dāng)理解，將以這個(gè)角度理解這些敘述，而不作為現(xiàn)有技術(shù)的承認(rèn)。

今天的電影大多是僅用于中心屏幕而產(chǎn)生的。為了改善用戶(hù)體驗(yàn)，將額外的內(nèi)容投影在電視或電影院屏幕的周?chē)?，從而擴(kuò)展用戶(hù)周?chē)脑紙?chǎng)景。這樣通過(guò)填充觀眾視野的系統(tǒng)增強(qiáng)了用戶(hù)的沉浸感，即，其給予用戶(hù)更好的在場(chǎng)景中的感覺(jué)。例如，使用寬視角的相機(jī)、用于110到360捕獲的攝像機(jī)平臺(tái)捕獲這樣的內(nèi)容或者使用計(jì)算機(jī)生成的圖像來(lái)創(chuàng)建這樣的內(nèi)容。

然而，以與原始視頻一致的方式擴(kuò)展視頻內(nèi)容并且在視覺(jué)上令人滿(mǎn)意是困難的。

在擴(kuò)展視頻內(nèi)容的方法中，第一種是利用寬視角的捕獲額外的內(nèi)容。然而，至少因?yàn)楹笃谥谱餍枰芾砀嗟膱D像(中心和側(cè)面圖像)，這樣的技術(shù)需要大量的人工工作。此外，因?yàn)樗荚诟纳朴脩?hù)體驗(yàn)，擴(kuò)展需要特別的注意，不應(yīng)當(dāng)打擾或?yàn)橛^眾制造麻煩。

用于擴(kuò)展視頻內(nèi)容的簡(jiǎn)單技術(shù)是Philips的技術(shù)Ambilight，在WO2004/006570中公開(kāi)，其研究了在中心圖像中顏色的分布，并使用安裝在屏幕邊緣上的RGB LED將圖像的主要顏色投影在屏幕周?chē)?。光投影僅在電視機(jī)周?chē)邢薜膮^(qū)域內(nèi)在完成，并不提供背景、形狀或運(yùn)動(dòng)印象的細(xì)節(jié)。然而，在高亮度圖像的情況下，以顏色和光的形式符合內(nèi)容這種擴(kuò)展可能不是最佳的，因?yàn)檫@種技術(shù)增加了太多的背景光。擴(kuò)展不應(yīng)該打擾或?yàn)橛^眾制造麻煩，因?yàn)槠渲荚诟纳朴脩?hù)體驗(yàn)。

用于擴(kuò)展視頻的另一種技術(shù)是AAides等人公開(kāi)在“Multiscale ultrawidefoveated video extrapolation”(IEEE International Conference on ComputationalPhotography(ICCP)2011，第1-8頁(yè))中的技術(shù)。算法的關(guān)鍵思想是在空間和時(shí)間維度上使用補(bǔ)丁匹配(Patch-Match)算法(使用視頻立方體，而不是圖像塊)將視頻外推到其邊界之外。當(dāng)選擇正確的補(bǔ)丁時(shí)，該方法會(huì)不利于(penalize)可能導(dǎo)致分心的補(bǔ)丁。此外，由于人類(lèi)視覺(jué)對(duì)偏離眼睛中心越遠(yuǎn)的細(xì)節(jié)越不敏感，所以算法以不同的分辨率計(jì)算。當(dāng)以從更粗糙的分辨率到更高分辨率完成外推時(shí)，得到最好的結(jié)果。然而，使用這樣的技術(shù)，因?yàn)閿U(kuò)展的大小受到限制，可能不能填充用戶(hù)的全部視場(chǎng)。此外，對(duì)于其他計(jì)算機(jī)生成的圖像，可能不能保留藝術(shù)意圖。實(shí)際上，用戶(hù)可能會(huì)因側(cè)面的圖像而分散注意力，或者觀看條件的修改可能太有吸引力。

因此，即使擴(kuò)展對(duì)于沉浸性而言是理想的，擴(kuò)展可能不適合于舒適的觀看體驗(yàn)，特別是當(dāng)擴(kuò)展的投影引起太多的光時(shí)。因此需要一種處理擴(kuò)展內(nèi)容以便改善用戶(hù)體驗(yàn)的方法。

3.發(fā)明內(nèi)容

根據(jù)本原理，描述了其中處理外圍圖像的亮度的實(shí)施例，使得來(lái)自觀看者視野中的外圍圖像的光保持為低。換句話(huà)說(shuō)，周邊視圖的亮度減小，使得當(dāng)顯示視圖時(shí)，通過(guò)中心視圖和周邊視圖呈現(xiàn)的全局亮度保持在接近僅通過(guò)中心視圖呈現(xiàn)的亮度。

為此，公開(kāi)了一種用于處理擴(kuò)展中心圖像的邊界的至少一個(gè)外圍圖像的方法。該方法包括基于人類(lèi)視覺(jué)特性調(diào)整外圍圖像的亮度。