[發明專利]前景信息保留的圖像拼接方法、裝置、設備及存儲介質

在審

• 申請號: 202310099812.5
• 申請日: 2023-02-03
• 公開（公告）號: CN116109484A
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 陳曦;苗鑫朋;何楚
• 申請（專利權）人: 武漢大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/194;G06V10/75
• 代理公司: 武漢智權專利代理事務所(特殊普通合伙) 42225
• 代理人: 張凱

本發明公開了一種前景信息保留的圖像拼接方法、裝置、設備及存儲介質，所述方法通過獲取待拼接的參考圖和目標圖，分別提取參考圖和目標圖中的圖像特征，生成參考特征點集和目標特征點集；將參考特征點集與目標特征點集進行特征點匹配，獲得匹配點，并將匹配點進行劃分，獲得背景特征匹配點對和前景特征匹配點對；獲得背景特征匹配點對和前景特征匹配點對對應的重疊區域，根據預設縫合線將重疊區域進行劃分，并根據劃分后的重疊區域對參考圖和目標圖進行拼接，獲得拼接圖像，能夠保留前景信息，提高了圖像拼接的速度和效率，使用戶獲得觀感自然、無重影、無接縫的高分辨率圖像，以獲得更加廣闊的視野，提升了用戶體驗。

技術領域

本發明涉及計算機視覺幾何技術領域，尤其涉及一種前景信息保留的圖像拼接方法、裝置、設備及存儲介質。

背景技術

在圖像拼接算法的理想情況下，多個攝像頭的安裝位置都是共光心的；在此情況下，多個攝像頭拍攝得到的圖像如同一個攝像頭原地旋轉多次拍攝得到的圖像；對于這些圖像，圖像拼接算法可以簡單地將這些圖像通過平移操作合成一整幅圖像，并且拼接得到的圖像的視覺效果與單個攝像頭拍攝的圖像無異；然而，在實際情況下，多個相機共光心是不可能的，只能近似地達到共光心的效果，這就需要多個相機的安裝位置非常相近；但在實際使用情景下，多個相機的安裝位置之間的距離往往不能太近，比如飛機的機翼兩端需要各安裝一個攝像頭、車載相機需要安裝在車身四角；還有諸多應用場景需要相機設置在不同位置，這就帶來了圖像拼接算法中的核心問題——視差問題；圖像拼接算法旨在針對不可避免的視差，盡量減少拼接圖像帶來的接縫、重影、信息丟失等問題。

由于多相機共光心的圖像拼接場景在現實中并不存在，多幅圖像也就不能只是單單使用平移操作完成拼接；圖像拼接算法根據多個相機的不同位姿信息計算出不同圖像平面之間的映射關系，從而將多幅圖像映射到同一平面，以此得到拼接圖像；若要計算相機之間的位姿關系，則需要獲取同一物體在不同相機上的成像的差異信息，即多個相機需要在不同位置拍攝同一物體；因此，多個拍攝圖像之間必然都存在對同一物體的成像；圖像拼接算法則根據這些同一物體在不同相機中的成像計算相機位姿關系，進一步得到不同成像平面之間的映射關系；顯而易見，將多幅圖像映射到同一平面一定會存在重疊區域；當多個相機拍攝同一平面時，上述視差問題則不存在，圖像之間的重疊區域也不需要特殊處理；然而這是理想情況下的處理，實際情況中，相機拍攝場景大概率不是簡單的一個平面，這就需要圖像拼接算法進行后續處理，減輕或是完全解決圖像重疊區域由視差引起的重影問題。

圖像拼接算法大概包含兩個步驟：圖像配準和融合；圖像配準往往可以通過提高圖像特征點質量、提高匹配算法精度等一系列措施得到較好的效果；而圖像融合在現階段還缺少有效的處理辦法以得到視覺效果良好的圖像融合結果，上述提到的視差引起的重影問題，目前是圖像拼接算法的瓶頸；雖然現在仍沒有可以完全解決視差問題，實現高質量圖像融合的算法，但仍有一些圖像融合算法嘗試減輕視差問題對拼接效果的影響；主流的圖像融合算法有兩個方向：融合方法和最優縫合線方法；融合方法有羽化融合、多頻段融合等，但這些方法都或多或少地包含重影、圖像失真等問題；至于另一方向，最優縫合線方法可以通過設置多種參數盡量使得圖像重疊區域像素值過渡平緩，以此達到重疊區域較好的視覺效果；然而，最優縫合線算法雖避免了重影問題，也在很大程度上減輕了接縫問題，卻也導致不可避免的圖像信息丟失。

上述最優縫合線算法導致的圖像信息丟失問題并非完全不可容忍，在大部分的非實時圖像拼接場景下，一些無關緊要的信息的丟失，并不影響最終圖像拼接的效果；在制作全景圖像時，部分圖像信息的丟失甚至有利于全景圖效果；然而，在一些實時圖像拼接應用場景中，圖像信息的丟失帶來的后果是極其嚴重的；比如，車載相機的圖像拼接對實時性要求很高，同時幾乎不能容忍圖像信息的丟失；然而最優縫合線卻會造成嚴重的信息丟失，例如車身正前方站立一人，由于最優縫合線算法的性質、原理，車前這人在相機中的成像大概率會在最終的拼接圖像中丟失；這是車載相機圖像拼接完全不能接受的情景；而融合方法又會帶來嚴重的重影問題；此時，主流的兩種圖像融合方法都不再適用。

發明內容