[發(fā)明專利]利用深度恢復圖像中的缺失信息的設(shè)備、系統(tǒng)和方法

有效

• 申請?zhí)枺?/td>: 201510876283.0
• 申請日: 2015-12-03
• 公開（公告）號: CN105704348B
• 公開（公告）日: 2018-11-02
• 發(fā)明（設(shè)計）人: G·阿布杜拉希安;M·格哈拉維-阿爾克漢薩利
• 申請（專利權(quán)）人: 索尼公司
• 主分類號: H04N5/217
• 分類號: H04N5/217;H04N13/106
• 代理公司: 中國國際貿(mào)易促進委員會專利商標事務(wù)所 11038
• 代理人: 李穎

1.一種用于修復圖像幀中的缺失、被去除或移動的對象或區(qū)域的設(shè)備，包括：

(a)計算機處理器；和

(b)用于存儲能在所述計算機處理器上執(zhí)行的指令的存儲器，

所述計算機處理器被配置用于：

(i)識別達到圖像幀中的缺失、被去除或移動的區(qū)域的邊緣的結(jié)構(gòu)區(qū)域；

(ii)響應各個結(jié)構(gòu)區(qū)域離照相機的深度，區(qū)分各個結(jié)構(gòu)區(qū)域的填充優(yōu)先順序；

(iii)按各個所述結(jié)構(gòu)區(qū)域的區(qū)分的填充優(yōu)先順序，填充各個所述結(jié)構(gòu)區(qū)域；和

(iv)填充缺失、被去除或移動的對象區(qū)域的剩余區(qū)域，以完成圖像幀的修復，

其中所述計算機處理器被配置成檢測結(jié)構(gòu)，并根據(jù)各個結(jié)構(gòu)的深度值，向各個結(jié)構(gòu)分配優(yōu)先級，其中更靠近圖像拍攝裝置的要素和結(jié)構(gòu)獲得更高的優(yōu)先級，因為較近的對象會遮蔽較遠的對象，而較遠的對象不會遮蔽較近的對象。

2.按照權(quán)利要求1所述的設(shè)備，其中所述計算機處理器被配置成在響應結(jié)構(gòu)分析而區(qū)分結(jié)構(gòu)區(qū)域的填充優(yōu)先順序中，進行所述識別達到圖像幀中的缺失、被去除或移動的區(qū)域的邊緣的結(jié)構(gòu)區(qū)域。

3.按照權(quán)利要求1所述的設(shè)備，其中所述計算機處理器被配置成利用關(guān)于所述深度的信息設(shè)定結(jié)構(gòu)的填充順序的優(yōu)先級，以致結(jié)構(gòu)區(qū)域被按次序填充，之后，剩余的均勻區(qū)域被填充，以產(chǎn)生修復的圖像。

4.按照權(quán)利要求1所述的設(shè)備，其中在開始修復之前，獲得關(guān)于跨越圖像幀的深度的信息。

5.按照權(quán)利要求4所述的設(shè)備，其中響應兩畫面模糊匹配，獲得關(guān)于深度的所述信息。

6.按照權(quán)利要求5所述的設(shè)備，其中在自動聚焦處理中，進行所述兩畫面模糊匹配。

7.按照權(quán)利要求1所述的設(shè)備，其中配置所述修復的結(jié)果，以致穿過缺失、被去除或移動的對象，來重構(gòu)與缺失、被去除或移動的對象鄰接的結(jié)構(gòu)，其中修復處理不留下任何明顯的偽像。

8.按照權(quán)利要求1所述的設(shè)備，其中所述設(shè)備被配置成供從以下一組應用中選擇的應用之用：(a)重構(gòu)掃描的照片或老照片中的缺失部分；(b)去除覆蓋在圖像或視頻幀上的文本或標志；(c)從圖像或視頻中去除或移動不希望有的對象；(d)恢復圖像編碼和傳輸中的缺失塊；(e)解決立體成像中的去遮擋問題，從而響應來自其附近的插值，恢復數(shù)字圖像中的被遮擋區(qū)域；(f)產(chǎn)生各種3D效果，其中靜態(tài)照片中的一個或多個對象被提取到該圖像的前景和生成的運動視頻片段中；和(g)圖像和視頻幀的縮放和超分辨率。

9.一種用于修復圖像幀中的缺失、被去除或移動的對象或區(qū)域的設(shè)備，包括：

(a)計算機處理器；和

(b)用于存儲能在所述計算機處理器上執(zhí)行的指令的存儲器，

所述計算機處理器被配置用于：

(i)識別達到圖像幀中的缺失、被去除或移動的區(qū)域的邊緣的結(jié)構(gòu)區(qū)域；

(ii)響應各個結(jié)構(gòu)區(qū)域離拍攝所述圖像幀的裝置的深度，根據(jù)對于各個結(jié)構(gòu)區(qū)域的結(jié)構(gòu)分析，區(qū)分填充優(yōu)先順序；

(iii)按各個所述結(jié)構(gòu)區(qū)域的基于深度的區(qū)分的填充優(yōu)先順序，填充各個所述結(jié)構(gòu)區(qū)域；和

(iv)填充缺失、被去除或移動的對象區(qū)域的剩余均勻區(qū)域，以完成圖像的修復，

其中所述計算機處理器被配置成檢測結(jié)構(gòu)，并根據(jù)各個結(jié)構(gòu)的深度值，向各個結(jié)構(gòu)分配優(yōu)先級，其中更靠近圖像拍攝裝置的要素和結(jié)構(gòu)獲得更高的優(yōu)先級，因為較近的對象會遮蔽較遠的對象，而較遠的對象不會遮蔽較近的對象。

10.按照權(quán)利要求9所述的設(shè)備，其中在開始修復之前，獲得關(guān)于跨越圖像的深度的信息。

11.按照權(quán)利要求10所述的設(shè)備，其中響應兩畫面模糊匹配，獲得關(guān)于深度的所述信息。

12.按照權(quán)利要求11所述的設(shè)備，其中在自動聚焦處理中，進行所述兩畫面模糊匹配。