[發(fā)明專利]用于提供滑動變焦視圖合成的系統(tǒng)和方法

在審

• 申請?zhí)枺?/td>: 202011167640.3
• 申請日: 2020-10-27
• 公開（公告）號: CN112738389A
• 公開（公告）日: 2021-04-30
• 發(fā)明（設(shè)計(jì)）人: 裵東運(yùn);李正元;R.R.拉納德;S.王;梁揚(yáng)文
• 申請（專利權(quán)）人: 三星電子株式會社
• 主分類號: H04N5/232
• 分類號: H04N5/232;H04N5/265;H04N13/204;H04N13/156
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 王新宇

提供一種用于通過電子裝置提供滑動變焦效果的方法和設(shè)備。獲得具有第一深度圖的第一圖像和具有第二深度圖的第二圖像。分別使用所述第一圖像和所述第一深度圖來生成第一合成圖像和對應(yīng)的第一合成深度圖。分別使用所述第二圖像和所述第二深度圖來生成第二合成圖像和對應(yīng)的第二合成深度圖。從所述第一合成圖像和所述第二合成圖像生成融合圖像。從所述第一合成深度圖和所述第二合成深度圖生成融合深度圖。基于處理所述融合圖像和所述融合深度圖，生成最終的合成圖像。

優(yōu)先權(quán)

本申請基于并要求于2019年10月28日在美國專利和商標(biāo)局提交并分配了序列號62/926,858的臨時專利申請以及于2020年3月10日在美國專利和商標(biāo)局提交并分配了序列號16/814,184的專利申請的優(yōu)先權(quán)，所述申請的內(nèi)容通過引用并入本文。

技術(shù)領(lǐng)域

本公開總體上涉及一種數(shù)字圖像處理系統(tǒng)，并且更具體地，涉及一種用于通過電子裝置提供滑動變焦(dolly zoom)視圖合成的方法和系統(tǒng)。

背景技術(shù)

通常通過放大或縮小變焦鏡頭以便調(diào)整視野(FoV)而同時將相機(jī)移動遠(yuǎn)離或朝向?qū)ο笠员闶冀K將對象保持相對相同大小來實(shí)現(xiàn)滑動變焦效果。這會導(dǎo)致連續(xù)的透視失真，最直接明顯的特征是背景似乎相對于對象改變大小。觀看者的視覺外觀是背景的大小和細(xì)節(jié)增加，以模擬前景的壓倒性，或者前景開始占主導(dǎo)地位，取決于效果的執(zhí)行方式。

滑動變焦效果還可以被稱為眩暈效果、焦距干擾變焦、zido、zolly、亨特史密斯拍攝、希區(qū)柯克拍攝、希區(qū)柯克變焦、眩暈變焦、下顎拍攝、反向跟蹤拍攝、三重反向變焦、后退變焦行進(jìn)、粉碎變焦、伸縮、長號拍攝、推/拉、長拉、反向拉、長號效果、拉伸拍攝、正向變焦、反向跟蹤、放大/縮小、trans-trav和反縮放。

圖1A和圖1B是示出滑動變焦效果的圖。在圖1A中，相機(jī)處于具有FoVθ₁的“位置A”，并且物體102處于焦點(diǎn)下。在圖1B中，相機(jī)移動到“位置B”同時將其FoV增加至θ₂，其中位置B比位置A更靠近物體102。在這種相機(jī)移動之后，物體102的大小保持不變，而由于增加的FoV，隨著更多的物體被帶入圖像，背景物體104和106的大小似乎縮小了。

因?yàn)樾枰瑫r變焦和移動，執(zhí)行滑動變焦效果需要技巧和裝備。在移動手機(jī)相機(jī)上執(zhí)行滑動變焦效果特別困難，因?yàn)樾枰獙D像變焦、物體跟蹤和移動進(jìn)行精細(xì)控制。

發(fā)明內(nèi)容

根據(jù)一個實(shí)施例，提供一種用于通過電子裝置提供滑動變焦效果的方法。獲得具有對應(yīng)第一深度圖的第一圖像和具有對應(yīng)第二深度圖的第二圖像。第一圖像和第二圖像具有不同的視野。分別使用第一圖像和第一深度圖來生成第一合成圖像和對應(yīng)的第一合成深度圖。分別使用第二圖像和第二深度圖來生成第二合成圖像和對應(yīng)的第二合成深度圖。從第一合成圖像和第二合成圖像生成融合圖像。從第一合成深度圖和第二合成深度圖生成融合深度圖。基于處理融合圖像和融合深度圖，生成最終的合成圖像。

根據(jù)一個實(shí)施例中，提供一種電子裝置。所述電子裝置包括至少一個相機(jī)和在上面執(zhí)行指令的處理器，使所述處理器獲得具有對應(yīng)第一深度圖的第一圖像和具有對應(yīng)第二深度圖的第二圖像。第一圖像和第二圖像具有不同的視野。指令還使所述處理器：分別使用第一圖像和第一深度圖來生成第一合成圖像和對應(yīng)的第一合成深度圖，并且分別使用第二圖像和第二深度圖來生成第二合成圖像和對應(yīng)的第二合成深度圖。指令還使所述處理器用于：從第一合成圖像和第二合成圖像生成融合圖像，從第一合成深度圖和第二合成深度圖生成融合深度圖，并且基于處理融合圖像和融合深度圖，生成最終的合成圖像。

根據(jù)一個實(shí)施例，一種通過電子裝置執(zhí)行深度感知修復(fù)的方法。從第一圖像和第二圖像生成融合圖像。從第一深度圖和第二深度圖生成融合深度圖。使用融合深度圖執(zhí)行深度孔填充，以獲得孔填充的深度圖。基于孔填充的深度圖中的多個獨(dú)特深度值中的每一個來更新遮擋掩模。根據(jù)更新的遮擋掩模，對融合圖像中的遮擋區(qū)域應(yīng)用窗口平均濾波器以獲得最終圖像。

附圖說明