[發(fā)明專利]圖像融合方法、裝置、計算機可讀存儲介質和電子設備

在審

• 申請?zhí)枺?/td>: 202110650974.4
• 申請日: 2021-06-10
• 公開（公告）號: CN113570530A
• 公開（公告）日: 2021-10-29
• 發(fā)明（設計）人: 唐金偉
• 申請（專利權）人: 北京曠視科技有限公司;北京邁格威科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T3/00;G06T3/40;G06K9/62
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 何少巖

本申請?zhí)峁┮环N圖像融合方法、裝置、計算機可讀存儲介質和電子設備，涉及圖像處理技術領域，能夠對于雙攝圖像進行配準和優(yōu)化，使得配準后的圖像解析力提升，且配準后的圖像中有效的降低圖像的扭曲和變形問題。圖像配準優(yōu)化方法，包括：獲取針對同一目標場景的第一圖像和第二圖像；根據第二圖像，確定第一圖像中的感興趣區(qū)域；對第二圖像與感興趣區(qū)域進行配準，得到深度圖像；根據深度圖像的深度值以及位置權重，計算各像素點的優(yōu)化深度值；根據優(yōu)化深度圖對第二圖像進行重映射，優(yōu)化深度圖中各像素點的深度值為優(yōu)化深度值；根據重映射后的第二圖像和第一圖像中的感興趣區(qū)域進行融合，得到融合圖像。

技術領域

本申請涉及圖像處理技術領域，具體涉及一種圖像融合方法、裝置、計算機可讀存儲介質和電子設備。

背景技術

圖像配準是指將不同時間、不同成像設備拍攝或同一成像設備在不同條件下獲取的兩幅或多幅圖像進行匹配、疊加的過程，圖像配準是圖像疊加、人臉識別、身份驗證、智慧城市等場景中必不可少的一環(huán)。

以兩幅圖像的配準為例，兩幅圖像通常拍攝的是同一場景，常見的對兩幅圖像進行配準的方法，是首先選取待配準圖像中的一幅，提取該圖像中的關鍵幀圖像，獲取另一待配準圖像中各點與關鍵幀圖像中各對應點之間的位置轉換關系作為配準位置，進而根據配準位置，將另一待配準圖像的各點匹配至關鍵幀圖像中，以得到配準圖像。

但是，由于兩幅待配準圖像通常為對于同一場景以兩種不同的條件拍攝得到的，因此，兩幅配準圖像通過位置轉換關系直接匹配疊加后，在關鍵幀圖像和其他圖像的連接處可能存在圖像的扭曲、變形等問題，導致圖像配準后的圖像顯示效果較差。

發(fā)明內容

本申請實施例的目的在于提供一種圖像融合方法、裝置、計算機可讀存儲介質和電子設備，能夠對于雙攝圖像進行配準和優(yōu)化，使得配準后的圖像解析力提升，且配準后的圖像中有效的降低圖像的扭曲和變形問題。

本申請實施例的一方面，提供了一種圖像融合方法，包括：獲取針對同一目標場景的第一圖像和第二圖像，其中，第一圖像的視場范圍大于第二圖像的視場范圍；根據第二圖像，確定第一圖像中的與第二圖像具有相同視場范圍的感興趣區(qū)域；對第二圖像與感興趣區(qū)域進行配準，得到深度圖像；根據深度圖像中各像素點的深度值，以及各像素點對應的位置權重，計算各像素點的優(yōu)化深度值，其中，位置權重用于表征各像素點與深度圖像的邊緣的距離；根據優(yōu)化深度圖對第二圖像進行重映射，優(yōu)化深度圖中各像素點的深度值為優(yōu)化深度值；根據重映射后的第二圖像和第一圖像中的感興趣區(qū)域進行融合，得到融合圖像。

可選地，第一圖像為廣角圖像，第二圖像為長焦圖像。

可選地，各像素點對應的位置權重由深度圖像的中心向邊緣逐漸降低。

可選地，根據優(yōu)化深度圖對第二圖像進行重映射包括：根據優(yōu)化深度圖將第二圖像配準到第一圖像，得到重映射后的第二圖像。

可選地，根據深度圖像中各像素點的深度值，以及各像素點對應的位置權重，計算各像素點的優(yōu)化深度值，包括：根據深度圖像中各像素點的深度值，以及位置權重，對能量函數進行最小化處理，確定能量最小時像素點的深度值為優(yōu)化深度值，其中，能量函數為關于像素點的深度值的方差的能量函數。

可選地，能量函數為：

depth_(x,y)為深度圖像中像素坐標為(x，y)處的深度值，depth_opt(x,y)為像素坐標為(x，y)處的優(yōu)化深度值，λ和γ為深度圖像的權重量且λ和γ負相關，alpha為位置權重，Var(depth_opt(x,y))為像素坐標為(x，y)處的優(yōu)化深度值的局部方差。

可選地，根據重映射后的第二圖像和第一圖像中的感興趣區(qū)域進行融合，得到融合圖像，包括：在第一圖像中，采用重映射后的第二圖像替換第一圖像中的感興趣區(qū)域，以得到融合圖像。