[發明專利]基于卷積網絡的圖像拼接方法及裝置

有效

• 申請號: 201711078325.1
• 申請日: 2017-11-06
• 公開（公告）號: CN107945109B
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 徐楓;劉聰穎;雍俊海
• 申請（專利權）人: 清華大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50;G06T7/90
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

本發明公開了一種基于卷積網絡的圖像拼接方法及裝置，其中，方法包括：利用卷積網絡確定待拼接的左圖和右圖，并獲取左圖和右圖與最終拼接結果圖像素的對應關系，以得到左圖和右圖到最終拼接結果圖的初始運動場；獲取基于初始運動場變形的左圖和右圖，并通過圖像特征和判別特征的約束，由卷積網絡求解在每個像素位置對左圖顏色和右圖顏色的選擇，生成拼接結果圖顏色，并分別獲取融合時左圖和右圖對應的顏色選擇圖；根據判別網絡和空間平滑約束調整更新得到運動場生成網絡和顏色選擇圖生成網絡，得到拼接結果。該方法可以通過卷積網絡與圖像拼接相結合可以對顏色處理更兼精確，保證拼接結果與真實場景的相似度，也能保證拼接結果的實時性。

技術領域

本發明涉及計算機視覺、計算機圖形學技術領域，特別涉及一種基于卷積網絡的圖像拼接方法及裝置。

背景技術

目前，圖像拼接是計算機視覺與計算機圖像學領域中一個重要且基礎的問題，并且在超分辨率處理、虛擬現實及增強現實等領域也有非常廣泛的應用。例如，在虛擬現實領域中，可以通過圖像拼接技術生成寬視角甚至是360度的環繞視角以使得觀察者獲得沉浸式感受，提升虛擬現實系統在視覺上的真實度；在無人駕駛領域，通過拼接雙目攝像頭拍攝到的圖像可以獲得具有更寬視角的路況信息，方便無人車尋路制導。

然而，現有的圖像拼接技術仍然存在缺陷，通常無法即精確的處理場景視差問題又保證拼接的實時性。如果對場景進行精細的劃分來處理視差，則難以實時的獲得拼接結果；如果整幅圖像求取變性，或者識別縫合線進行拼接，雖然能保證速度，但對于較大視差的情況下不能較好的配準。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的一個目的在于提出一種基于卷積網絡的圖像拼接方法，該方法不僅可以對圖像視差的處理更精確，而且可以對顏色的選擇融合更接近真實場景，進而可以有效提高圖像拼接的準確性、可靠性和實時性。

本發明的另一個目的在于提出一種基于卷積網絡的圖像拼接裝置。

為達到上述目的，本發明一方面實施例提出了一種基于卷積網絡的圖像拼接方法，包括以下步驟：利用卷積網絡確定待拼接的左圖和右圖，并獲取所述左圖和右圖與最終拼接結果圖像素的對應關系，以得到所述左圖和右圖到最終拼接結果圖的初始運動場；獲取基于所述初始運動場變形的所述左圖和右圖，并通過圖像特征和判別特征的約束，由所述卷積網絡求解在每個像素位置對左圖顏色和右圖顏色的選擇，生成拼接結果圖顏色，并分別獲取融合時左圖和右圖對應的顏色選擇圖；根據判別網絡和空間平滑約束調整更新得到運動場生成網絡和顏色選擇圖生成網絡，得到拼接結果。

本發明實施例的基于卷積網絡的圖像拼接方法，通過卷積網絡確定待拼接的左圖和右圖，并獲取基于初始運動場變形的左圖和右圖，通過判別網絡和空間平滑約束調整更新得到運動場生成網絡和顏色選擇圖生成網絡，得到拼接結果，從而可以將卷積網絡與圖像拼接相結合，對左右圖中像素逐一估計運動和顏色選擇，不僅可以對圖像視差的處理更精確，而且可以對顏色的選擇融合更接近真實場景，進而可以有效提高圖像拼接的準確性、可靠性和實時性。

另外，根據本發明上述實施例的基于卷積網絡的圖像拼接方法還可以具有以下附加的技術特征：

進一步地，在本發明的一個實施例中，所述獲取待拼接的左右圖像素與最終拼接結果圖像素的對應關系，以得到初始運動場，進一步包括：基于編碼器-解碼器的網絡結構，使用所述待拼接的左圖和右圖作為網絡輸入，根據網格形式的稠密單應性矩陣計算得到所述左圖和右圖與所述拼接結果圖像素的對應關系；將所述對應關系作為目標運動場，并使用所述目標運動場約束網絡生成結果。