[發明專利]一種基于端到端神經網絡的多路圖片拼接方法

有效

• 申請號: 202010553739.0
• 申請日: 2020-06-17
• 公開（公告）號: CN111709880B
• 公開（公告）日: 2023-10-13
• 發明（設計）人: 張世明
• 申請（專利權）人: 貝格邁思（深圳）技術有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50
• 代理公司: 深圳泛航知識產權代理事務所(普通合伙) 44867
• 代理人: 鄧愛軍

一種基于端到端神經網絡的多路圖片拼接方法，系統包括以下步驟：S1：通過相鄰鄰接圖估計器預估計多圖像間的鄰接關系，通過自適應卷積神經網絡CNN計算兩兩圖像間的單應性矩陣，并確定二者之間是否鄰接，并確定二者之間的鄰接權重，通過確定兩兩圖片間的鄰接權重，構建多圖像間的鄰接圖；S2：根據多圖像間的鄰接圖，確定最優基平面圖像，并基于最優基平面圖像選取所有與其鄰接的圖像；S3：通過多單應性矩陣，將最優基平面圖像鄰接的所有圖像投影到最優基平面，實現圖像拼接融合。本發明中，實現對圖片以及視屏中的圖片進行拼接的過程，得到高精度的且相互對齊的拼接圖片。

技術領域

本發明涉及圖像拼接和圖像質量評價技術領域，尤其涉及一種基于端到端神經網絡的多路圖片拼接方法。

背景技術

由于鏡頭視角有限以及廣角鏡頭邊緣畸變嚴重等問題，很難拍攝到現實應用所需的單幅大視野圖像，利用圖像拼接融合技術能大幅擴展鏡頭的表現能力。將多張來自同一場景的具有一定重疊區域的小視野圖像對齊、有序拼接融合成為大視野高分辨率圖像的圖像拼接技術，在計算機視覺領域有著廣泛的研究，已被廣泛應用于遙感圖像處理、醫學圖像分析、繪圖學、計算機視覺、視頻監控、虛擬現實、超分辨率重構和機器人導航等領域。

圖像拼接主要包括四個步驟：圖像預處理、特征提取與描述、圖像對齊和圖像融合。

近些年，深度學習逐漸在機器視覺領域展現出非凡的能力，越來越多的傳統方法被深度學習所替代。由于卷積神經網絡CNN可以隱式地從訓練數據中自動進行特征學習，在圖像特征提取方面具有突出優勢，其簡單的參數學習和并行學習能力使其具有廣泛的適用性。因此，基于卷積神經網絡CNN的圖像特征自動提取，可有效克服最優單應性特征對齊的問題。

然而，以上的方法在實施的過程中，有以下幾個問題：

1.由于圖像可能來自不同時間、不同相機和不同的視角，進而造成圖像遮擋和背景混亂等問題，在圖像對齊中的會造成特征點錯誤對齊問題，基于RANSAC的特征篩選方法效率低下，且不能與特征選取融合。

2.針對基于特征的圖像對齊方面并沒有考慮不同圖像特征在圖像內容保持方面的貢獻，因此在通過RANSAC特征篩選出的特征點并沒有考慮與其相關的權重。

3.由于缺乏大量標注數據，無法實現大批量的訓練，即便已有了無監督的訓練方法，但并沒有大規模的應用到自然圖片中；

現有方法均只解決了兩張圖像的對齊問題，而沒有考慮如何擴展到多張圖像拼接。

在圖片拼接的問題中，圖片的數量普遍高于兩張，同時單個HomographyNet也難以應對多幅圖片的對齊。

本發明旨在利用無監督卷積神經網絡CNN的圖像對齊技術實現多圖像優化拼接問題

發明內容

(一)發明目的

為解決背景技術中存在的技術問題，本發明提出一種基于端到端神經網絡的多路圖片拼接方法，實現對圖片以及視屏中的圖片進行拼接的過程，得到高精度的且相互對齊的拼接圖片。

(二)技術方案

為解決上述問題，本發明提出了一種基于端到端神經網絡的多路圖片拼接方法，系統包括以下步驟：

S1：通過相鄰鄰接圖估計器預估計多圖像間的鄰接關系，通過自適應卷積神經網絡CNN計算兩兩圖像間的單應性矩陣，并確定二者之間是否鄰接，并確定二者之間的鄰接權重，通過確定兩兩圖片間的鄰接權重，構建多圖像間的鄰接圖G(I，E，δ)；