[發明專利]一種基于幾何一致性的圖像語義特征匹配方法

有效

• 申請號: 201911098020.6
• 申請日: 2019-11-12
• 公開（公告）號: CN110909778B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 周忠;吳威;陳朗;呂偉;李萌
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06V10/75
• 分類號: G06V10/75;G06V10/46;G06V10/764;G06V10/774
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 楊學明;鄧治平

本發明公開了一種基于幾何一致性的圖像語義特征匹配方法，該方法包括語義特征提取、特征匹配初始化、特征匹配定位優化以及圖像語義對齊等步驟。其中語義特征提取是使用卷積神經網絡提取高層語義特征，來構建五層語義特征金字塔；特征匹配初始化是在特征金字塔頂層基于幾何一致性，設計語義特征匹配約束規則，構建能量函數；特征匹配定位優化是為了提高特征匹配的定位精度，通過金字塔反向傳播算法，逐層提高特征匹配對的準確率；最后，采用局部幾何變換模型估計待匹配圖像之間的幾何變換模型參數，進行圖像變形，實現圖像語義對齊。本發明能夠提高語義特征匹配的精度，并實現前景目標幾何姿態、朝向的對齊。

技術領域

本發明涉及圖像特征匹配技術，更具體的講，涉及一種圖像語義特征匹配的方法，在具備同一屬性類別標簽的不同目標圖像間建立點對點的特征匹配關系，屬于數字圖像處理領域和計算機視覺領域。

背景技術

圖像特征匹配是指在圖像內容信息相同或者相似的場景下，在圖像內檢索顯著特征信息，并使用特征描述子對特征信息進行量化，然后根據特征描述子之間的相似性程度確定圖像間特征與特征之間點對點的匹配關系。圖像特征匹配在圖像拼接、三維重建、SLAM等計算機視覺領域中有著非常重要的作用。本發明涉及圖像語義特征匹配，是圖像特征匹配領域下的子問題，它主要針對的場景為：待匹配的圖像間沒有絕對的重疊信息，但存在具備同一屬性類別標簽的前景目標，前景目標之間的幾何外觀、形狀、姿態等高層語義信息是十分相似的，比如解決一輛奔馳汽車與寶馬汽車之間的特征匹配關系即屬于語義特征匹配的研究范疇。當前，圖像語義特征匹配在影視特效制作、圖像場景數據合成、目標跟蹤等圖形圖像應用中有著非常可觀的應用價值。

本發明前，已經有人對圖像語義匹配技術做了相關研究。Liu?Ce等發表論文“Siftflow:Dense?correspondence?across?scenes?and?its?applications”(IEEEtransactions?on?pattern?analysis?and?machine?intelligence,33(5):978–994,2011),這是語義匹配技術相關的第一項研究工作，它從待匹配圖像中提取仿SIFT特征，為每個像素點分配128維度的特征描述子，然后根據光流的思想設計能量函數，求解每個像素點的矢量位移，實現像素級的匹配關系，并根據矢量位移實現圖像對齊。由于該方法是像素級的匹配算法，因此計算復雜，匹配效率低。此外，它采用的特征描述子是仿SIFT特征，對顏色、梯度等敏感，誤匹配較為明顯。B.Ham等發表論文“Proposal?Flow”(IEEE?Conferenceon?Computer?Vision?and?Pattern?Recognition,pages?3475–3484,2016)，它同樣采用光流的思想，但是使用預處理算法在圖像中查找包含語義目標信息的數據塊，然后以塊為單位，建立圖像塊之間的矢量位移一致性方程。通過求解圖像內前景目標塊之間的匹配關系，不僅提高了匹配計算效率，還過濾了一定的背景冗余特征，提高了匹配精度。但是，該方法使用的描述子仍然聚焦于低層紋理的顏色、梯度等信息，魯棒性較低，且需要使用預處理算法提取包含前景目標信息的數據塊，處理較為繁瑣，對預處理算法的依賴性較高。此外，它對齊模型使用的仍是光流，圖像變形時畸變、失真嚴重，對齊效果差。Jing?Liao等發表論文“Visual?Attribute?Transfer?through?Deep?Image?Analogy”(ACM?Transactions?onGraphics,36(4):1–15,2017)，它使用卷積神經網絡提取語義特征和特征描述子，但是直接基于特征描述子進行最近鄰匹配，對特征描述子的依賴性太高，而獲取的特征描述子信息較為冗余，缺乏顯著特征的量化機制，以至于產生較多的誤匹配。此外，它使用語義特征匹配結果直接計算待匹配圖像間具備8個自由度參數的全局單應矩陣模型，對齊能力差，沒有充分利用圖像的局部相關性。