[發明專利]圖像生成的方法、裝置及系統

有效

• 申請號: 201910409543.1
• 申請日: 2019-05-16
• 公開（公告）號: CN110189247B
• 公開（公告）日: 2021-01-19
• 發明（設計）人: 李甲;葉煒華;趙一凡;趙沁平
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T3/40
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 鈄颯颯;劉芳

本發明提供一種圖像生成的方法、裝置及系統，該方法，包括：獲取第一雙魚眼圖像對應的初始全景圖像；從所述初始全景圖像中提取出第一特征圖像；從第二雙魚圖像中提取視覺特征信息；其中，所述第二雙魚圖像的分辨率高于所述第一雙魚圖像的分辨率；將所述第一特征圖像與所述視覺特征信息進行融合處理，得到融合全景圖像?？梢詫崿F無需高要求的硬件設備、無需進行初始化等繁瑣操作，獲得較高精準度的高分辨率融合全景圖像，還可以提高獲得高分辨率融合全景圖像的速度。

技術領域

本發明涉及計算機圖像處理技術領域，尤其涉及一種圖像生成的方法、裝置及系統。

背景技術

隨著全方位相機的發展，360度全景圖像近年來備受關注，且360度全景圖像生成技術廣泛應用于生物、醫學、建模及虛擬現實等領域。360度全景圖像也稱為三維全景圖像或者全景環視圖像。360度全景圖像生成技術是一種運用數碼相機對現有場景進行多角度環視拍攝之后，再利用計算機進行后期縫合，并通過加載播放程序來完成的一種三維虛擬展示技術。

現有技術中360度全景圖像的生成方法主要分為兩種，直接拼接方法和基于特征的方法。直接拼接方法的優點在于能夠使用所有可用的圖像數據，可以提供非常準確的點與點對應關系。例如一種基于全局相似度約束的線導局部整經方法，利用線特征對圖像進行精準拼接。另一種基于特征的方法通常從圖像中檢測出不變性特征，然后進行圖像匹配，找出對應的特征。例如，先將魚眼圖像通過等矩形變換展開后在利用特征點進行拼接，或者通過光補償、等矩形變換、圖像對齊和圖像融合將雙魚眼圖像拼接成360度全景圖像。

然而，直接拼接的方法需要進行復雜的初始化操作，例如相機標定?；谔卣鞯姆椒m然不需要進行初始化操作，但造成處理雙魚眼圖像時缺乏不變性等問題。

發明內容

本發明提供一種圖像生成的方法、裝置及系統，以提高獲取高分辨率融合全景圖像的精準度，無需高要求的硬件設備及進行初始化等繁瑣操作，還可以提高獲得高分辨率融合全景圖像的速度。

第一方面，本發明實施例提供的一種圖像生成的方法，包括：

獲取第一雙魚眼圖像對應的初始全景圖像；

從所述初始全景圖像中提取出第一特征圖像；

從第二雙魚眼圖像中提取視覺特征信息；其中，所述第二雙魚眼圖像的分辨率高于所述第一雙魚眼圖像的分辨率；

將所述第一特征圖像與所述視覺特征信息進行融合處理，得到融合全景圖像。

在一種可能的設計中，獲取第一雙魚眼圖像對應的初始全景圖像，包括：

將所述第一雙魚眼圖像作為目標網絡模型的輸入，由所述目標網絡模型輸出所述第一雙魚眼圖像對應的初始全景圖像；其中，所述目標網絡模型用于根據所述第一雙魚眼圖像中提取的圖像特征，預測所述第一雙魚眼圖像對應的初始全景圖像。

在一種可能的設計中，從所述初始全景圖像中提取出第一特征圖像，包括：

對所述初始全景圖像進行至少一次卷積處理，得到所述初始全景圖像對應的中間特征圖；

對所述中間特征圖進行反卷積處理，得到與所述第二雙魚圖像分辨率相同的第一特征圖像。

在一種可能的設計中，從第二雙魚圖像中提取視覺特征信息，包括：

對所述第二雙魚圖像進行預設次數的卷積處理，得到所述第二雙魚圖像對應的視覺特征信息。

在一種可能的設計中，將所述第一特征圖像與所述視覺特征信息進行融合處理，得到融合全景圖像，包括：

在所述第一特征圖像中增加所述第二雙魚圖像對應的視覺特征信息，得到第二特征圖像；

對所述第二特征圖像進行卷積和反卷積處理，獲取預設分辨率的融合全景圖像。