[發(fā)明專利]圖像融合方法、裝置、計算機可讀存儲介質(zhì)和電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202110650974.4
• 申請日: 2021-06-10
• 公開（公告）號: CN113570530A
• 公開（公告）日: 2021-10-29
• 發(fā)明（設(shè)計）人: 唐金偉
• 申請（專利權(quán)）人: 北京曠視科技有限公司;北京邁格威科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T3/00;G06T3/40;G06K9/62
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 何少巖

1.一種圖像融合方法，其特征在于，所述方法包括：

獲取針對同一目標(biāo)場景的第一圖像和第二圖像，其中，所述第一圖像的視場范圍大于所述第二圖像的視場范圍；

根據(jù)第二圖像，確定第一圖像中的與所述第二圖像具有相同視場范圍的感興趣區(qū)域；

對所述第二圖像與所述感興趣區(qū)域進(jìn)行配準(zhǔn)，得到深度圖像；

根據(jù)所述深度圖像中各像素點的深度值，以及所述各像素點對應(yīng)的位置權(quán)重，計算所述各像素點的優(yōu)化深度值，其中，所述位置權(quán)重用于表征所述各像素點與所述深度圖像的邊緣的距離；

根據(jù)優(yōu)化深度圖對所述第二圖像進(jìn)行重映射，所述優(yōu)化深度圖中所述各像素點的深度值為所述優(yōu)化深度值；

根據(jù)重映射后的所述第二圖像和所述第一圖像中的感興趣區(qū)域進(jìn)行融合，得到融合圖像。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一圖像為廣角圖像，所述第二圖像為長焦圖像。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，各像素點對應(yīng)的所述位置權(quán)重由所述深度圖像的中心向邊緣逐漸降低。

4.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述根據(jù)優(yōu)化深度圖對所述第二圖像進(jìn)行重映射包括：

根據(jù)優(yōu)化深度圖將所述第二圖像配準(zhǔn)到所述第一圖像，得到重映射后的所述第二圖像。

5.根據(jù)權(quán)利要求1-3任意一項所述的方法，其特征在于，所述根據(jù)所述深度圖像中各像素點的深度值，以及所述各像素點對應(yīng)的位置權(quán)重，計算所述各像素點的優(yōu)化深度值，包括：

根據(jù)所述深度圖像中各像素點的深度值，以及所述位置權(quán)重，對能量函數(shù)進(jìn)行最小化處理，確定能量最小時像素點的深度值為所述優(yōu)化深度值，其中，所述能量函數(shù)為關(guān)于像素點的深度值的方差的能量函數(shù)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述能量函數(shù)為：

depth_(x,y)為所述深度圖像中像素坐標(biāo)為(x，y)處的深度值，depth_opt(x,y)為像素坐標(biāo)為(x，y)處的優(yōu)化深度值，λ和γ為所述深度圖像的權(quán)重量且λ和γ負(fù)相關(guān)，alpha為位置權(quán)重，Var(depth_opt(x,y))為像素坐標(biāo)為(x，y)處的優(yōu)化深度值的局部方差。

7.根據(jù)權(quán)利要求1-6任意一項所述的方法，其特征在于，所述根據(jù)重映射后的所述第二圖像和所述第一圖像中的感興趣區(qū)域進(jìn)行融合，得到融合圖像，包括：

在第一圖像中，采用重映射后的所述第二圖像替換所述第一圖像中的感興趣區(qū)域，以得到融合圖像。

8.根據(jù)權(quán)利要求1-6任意一項所述的方法，其特征在于，所述根據(jù)重映射后的所述第二圖像和所述第一圖像中的感興趣區(qū)域進(jìn)行融合，得到融合圖像，包括：

根據(jù)所述重映射后的第二圖像中各像素點的像素值，檢測所述重映射后的第二圖像中的錯誤區(qū)域；

采用所述感興趣區(qū)域中與所述錯誤區(qū)域?qū)?yīng)區(qū)域的像素值，對所述錯誤區(qū)域的像素值進(jìn)行替換，得到更新后的第二圖像；

將所述更新后的第二圖像替換所述第一圖像中的感興趣區(qū)域，以得到所述融合圖像。

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述根據(jù)所述重映射后的第二圖像中各像素點的像素值，檢測所述重映射后的第二圖像中的錯誤區(qū)域，包括：

根據(jù)所述重映射后的第二圖像中各像素點的像素值，計算所述重映射后的第二圖像中像素點的光流方差；

確定所述重映射后的第二圖像中光流方差超出預(yù)設(shè)方差閾值的像素點為所述錯誤區(qū)域。