[發(fā)明專利]利用深度恢復圖像中的缺失信息的設備、系統(tǒng)和方法

有效

• 申請?zhí)枺?/td>: 201510876283.0
• 申請日: 2015-12-03
• 公開（公告）號: CN105704348B
• 公開（公告）日: 2018-11-02
• 發(fā)明（設計）人: G·阿布杜拉希安;M·格哈拉維-阿爾克漢薩利
• 申請（專利權）人: 索尼公司
• 主分類號: H04N5/217
• 分類號: H04N5/217;H04N13/106
• 代理公司: 中國國際貿(mào)易促進委員會專利商標事務所 11038
• 代理人: 李穎

本公開涉及利用深度恢復圖像中的缺失信息的設備、系統(tǒng)和方法。說明了用于從中缺失、去除或移動圖像對象或區(qū)域的空白區(qū)域的填充的修復設備和方法。識別達到被去除的對象區(qū)域的邊緣的結構區(qū)域，隨后根據(jù)離照相機的深度(距離)，區(qū)分填充的優(yōu)先順序。隨后按區(qū)分的填充優(yōu)先順序，填充這些結構區(qū)域，之后是剩余的(均勻)區(qū)域，從而生成修復的圖像。可在任何期望的計算機支持的電子設備上進行所述方法，包括蜂窩電話機、數(shù)字照相機、膝上型計算機、平板計算機、個人計算機和其它裝備處理器的電子設備。

相關申請的交叉引用

不適用。

關于聯(lián)邦支助研發(fā)的聲明

不適用。

計算機程序附錄的引用包含

不適用。

受版權保護的材料的通知

本專利文獻中的一部分材料受美國及其他國家的版權法的版權保護。版權所有人不反對任何人影印再現(xiàn)專利文獻或專利公開，因為專利文獻或專利公開出現(xiàn)在可公開獲得的美國專利商標局文件或檔案中，不過保留其它方面的所有版權。版權所有人從而不放棄使本專利文獻維持保密狀態(tài)的任何權利，包括但不限于依照37 C.F.R.§1.14的權利。

技術領域

本公開一般地涉及圖像修復，更具體地，涉及當進行圖像幀修復時，利用深度信息恢復缺失的信息。這里，深度信息指的是場景中的點離拍攝圖像的照相機的距離，或者當沿著照相機的光軸測量時，它們離所述照相機的距離。

背景技術

圖像修復的處理涉及重構被破壞或者有意去除的圖像幀或視頻幀的缺失部分。如果在圖像內(nèi)拍攝的對象被刪除或移動，那么必須重構原始圖像中被所述對象遮蓋(隱藏)的區(qū)域，以便作為結果的圖像仍然看起來“自然”。即，理想的是如果觀看者沒有看過原始圖像，那么他們理應不能注意到圖像已因去除或移動對象而被改變。

文獻中記載了許多目前的修復技術。通常，這些方法可被分類成以下類別：(a)基于擴散的方法，(b)圖像的稀疏表示，和(c)基于模型的方法。

當修復處理涉及無復雜結構的同類區(qū)域和/或小區(qū)域時，這些方法通常能夠產(chǎn)生適當?shù)妮敵觥２贿^，在涉及具有多個被擋住的區(qū)域和結構的較大缺失區(qū)域的景象中，這些技術在作為結果的圖像中留下明顯的偽像，尤其是在邊緣和結構化區(qū)域中。

因而，需要即使對于包括結構的較大被修復區(qū)域，也能夠產(chǎn)生合意結果的修復重構技術。

發(fā)明內(nèi)容

本公開提供修復設備和方法，所述修復設備和方法為修復提供在各種大小和程度的不均勻性范圍內(nèi)的看起來自然的結果。易于認識到，一些現(xiàn)有的修復方法基本上可處理極小區(qū)域或者可用均勻填充充填的區(qū)域的填充。當對象較大(例如，大于幀高度和/或寬度的約5-10％)時，出現(xiàn)更大的挑戰(zhàn)，當對象被幾個不同的區(qū)域和相交的結構(線條、平面和其它結構)圍繞時，會使挑戰(zhàn)進一步復雜化。在后一情況下，很難解析缺失、被去除或者被移動的結構或區(qū)域，以致重構的圖像具有看起來自然的外觀，同時跨越任何修復等仍然鄰接的所有結構被適當?shù)乇憩F(xiàn)。應明白修復結果中的多數(shù)明顯的偽像出現(xiàn)在邊緣或區(qū)域邊界周圍。在很大程度上，當穿過被去除對象的區(qū)域重構與所述被去除對象相鄰的結構，并且修復處理未留下任何明顯的偽像時，景象看起來“自然”。提出的技術在進行修復時，利用深度信息，以便克服以前的方法的許多不足之處。