[發明專利]用于提供滑動變焦視圖合成的系統和方法

在審

• 申請號: 202011167640.3
• 申請日: 2020-10-27
• 公開（公告）號: CN112738389A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 裵東運;李正元;R.R.拉納德;S.王;梁揚文
• 申請（專利權）人: 三星電子株式會社
• 主分類號: H04N5/232
• 分類號: H04N5/232;H04N5/265;H04N13/204;H04N13/156
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 王新宇

1.一種通過電子裝置提供滑動變焦效果的方法，所述方法包括：

獲得第一圖像和第二圖像，所述第一圖像具有對應于所述第一圖像的第一深度圖，并且所述第二圖像具有對應于所述第二圖像的第二深度圖，其中所述第一圖像和所述第二圖像具有不同的視野；

分別使用所述第一圖像和所述第一深度圖來生成第一合成圖像和對應于所述第一合成圖像的第一合成深度圖；

分別使用所述第二圖像和所述第二深度圖來生成第二合成圖像和對應于所述第二合成圖像的第二合成深度圖；

從所述第一合成圖像和所述第二合成圖像生成融合圖像；

從所述第一合成深度圖和所述第二合成深度圖生成融合深度圖；以及

基于處理所述融合圖像和所述融合深度圖，生成最終的合成圖像。

2.如權利要求1所述的方法，其中獲得具有所述第一深度圖的所述第一圖像和具有所述第二深度圖的所述第二圖像包括：

從第一相機接收所述第一圖像和第三圖像；

通過使用所述第一圖像和所述第三圖像執行深度估計來確定所述第一圖像的所述第一深度圖；

通過對所述第一圖像執行數字變焦來確定所述第二圖像；以及

通過對所述第一深度圖執行數字變焦來確定所述第二深度圖。

3.如權利要求1所述的方法，其中獲得具有所述第一深度圖的所述第一圖像和具有所述第二深度圖的所述第二圖像包括：

從第一相機接收所述第一圖像和所述第二圖像；

從第二相機接收第三圖像；

通過使用所述第一圖像和所述第二圖像執行深度估計來確定所述第一深度圖；以及

通過使用所述第二圖像和所述第三圖像執行深度估計來確定所述第二深度圖。

4.如權利要求1所述的方法，其中獲得具有所述第一深度圖的所述第一圖像和具有所述第二深度圖的所述第二圖像包括：

從第一相機接收所述第一圖像；

導出所述第一深度圖；

通過對所述第一圖像執行數字變焦來確定所述第二圖像；以及

通過對所述第一深度圖執行數字變焦來確定所述第二深度圖。

5.如權利要求1所述的方法，其中獲得具有所述第一深度圖的所述第一圖像和具有所述第二深度圖的所述第二圖像包括：

從第一相機接收所述第一圖像；

從第二相機接收所述第二圖像；以及

導出所述第一深度圖和所述第二深度圖。

6.如權利要求1所述的方法，其中生成所述第一合成圖像和所述第一合成深度圖包括：

設置沿著所述第一圖像的至少一個軸的相機平移；

經由用戶輸入設置焦距距離；以及

基于所述第一圖像的所述相機平移和所述焦距距離，使用正向扭曲將所述第一圖像和所述第一深度圖扭曲，以獲得所述第一合成圖像和所述第一合成深度圖。

7.如權利要求6所述的方法，其中生成所述第二合成圖像和所述第二合成深度圖包括：

設置沿著所述第二圖像的至少一個軸的相機平移；以及

基于所述第二圖像的所述相機平移和所述焦距距離，使用正向扭曲將所述第二圖像和所述第二深度圖扭曲，以獲得所述第二合成圖像和所述第二合成深度圖。

8.如權利要求1所述的方法，其中生成所述最終的合成圖像包括：

對所述融合深度圖和所述融合圖像執行孔填充；以及

應用淺景深效果以獲得具有所述滑動變焦效果的所述最終的合成圖像。

9.如權利要求8所述的方法，其中執行孔填充包括：

使用所述融合深度圖執行深度孔填充，以獲得孔填充的深度圖；以及

使用所述融合圖像和所述孔填充的深度圖執行深度感知圖像修復以獲得孔填充的圖像。

10.如權利要求9所述的方法，其中執行深度感知圖像修復包括：

基于所述孔填充的深度圖中的多個獨特深度值中的每一個來更新遮擋掩模；以及

根據更新的遮擋掩模，對所述融合圖像中的遮擋區域應用窗口平均濾波器。