[發(fā)明專利]對(duì)變換不變低秩紋理的穩(wěn)健恢復(fù)

有效

• 申請(qǐng)?zhí)枺?/td>: 201110404705.6
• 申請(qǐng)日: 2011-11-28
• 公開（公告）號(hào): CN102521808A
• 公開（公告）日: 2012-06-27
• 發(fā)明（設(shè)計(jì)）人: 馬毅;梁霄;張崢東
• 申請(qǐng)（專利權(quán)）人: 微軟公司
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00
• 代理公司: 上海專利商標(biāo)事務(wù)所有限公司 31100
• 代理人: 高見

技術(shù)領(lǐng)域：

本文中所描述的“變換不變低秩紋理”(TILT)提取器從場(chǎng)景的2D圖像準(zhǔn)確且穩(wěn)健地提取定義低秩平面圖案的紋理和幾何信息兩者，由此實(shí)現(xiàn)大范圍圖像處理應(yīng)用。

背景技術(shù)

計(jì)算機(jī)視覺中的一個(gè)基本問題是標(biāo)識(shí)圖像中的特定特征點(diǎn)或突出區(qū)域。這些點(diǎn)和區(qū)域是諸如3D重構(gòu)、對(duì)象識(shí)別、場(chǎng)景理解等等之類的幾乎所有高層視覺任務(wù)的基本構(gòu)建塊。數(shù)年中，已在計(jì)算機(jī)視覺著作中提出了大量方法，用于提取各種類型的特征點(diǎn)或突出區(qū)域。檢測(cè)到的點(diǎn)或區(qū)域通常表示圖像中具有特定的特殊幾何或統(tǒng)計(jì)數(shù)據(jù)特性的各部分，這些特性諸如有Canny邊緣、Harris角落、紋理基元等。

由于圖像中的特殊點(diǎn)或區(qū)域常常被用來在不同圖像上建立對(duì)應(yīng)性或測(cè)量相似度，因此期望它們具有在因視點(diǎn)或或照明的變化而引發(fā)的變換下相當(dāng)穩(wěn)定或不變的特性。在過去十年中，在著作中已提出、研究、比較和調(diào)整數(shù)種所謂“不變”特征或描述符。代表性且被廣泛使用的特征類型是“比例不變特征變換”(SIFT)，其在很大程度上對(duì)于旋轉(zhuǎn)和縮放(即，相似性變換)和照明的改變是不變的。

遺憾地是，如果圖像進(jìn)行顯著仿射變換(例如，透視變換)，則基于SIFT的技術(shù)常常無法建立可靠的對(duì)應(yīng)性，而其仿射不變版本成為更合適的選擇。然而，雖然遠(yuǎn)處小曲片(patch)的變形可通過仿射變換來良好地近似，但是替代地使用投影變換來描述由透視相機(jī)看到的大區(qū)域的變形。結(jié)果，當(dāng)前技術(shù)被認(rèn)為不提供在投影變換(即，單應(yīng)性)下確實(shí)不變(或者甚至近似不變)的特征或描述符。盡管過去數(shù)十年中花費(fèi)了巨大努力以尋求圖像中的更好且更豐富的不變特征類，這似乎是一個(gè)現(xiàn)有方法都不能夠完全解決的問題。因此，在當(dāng)前視覺著作中提出的眾多“不變”圖像特征(包括以上提及的那些)充其量是近似不變，且常常僅是在有限的程度上。

例如，考慮通過改變相機(jī)視點(diǎn)而在圖像域上引發(fā)的、以及通過改變對(duì)比度或照明而在圖像強(qiáng)度上引發(fā)的典型的變形類，在嚴(yán)格數(shù)學(xué)意義上，2D圖像的不變量是極度稀疏且稀有的——本質(zhì)上，僅有圖像函數(shù)的極值拓?fù)浔３植蛔儭＿@已被稱為“屬性化Reeb樹”(ART)。

另一方面，3D場(chǎng)景通常具有豐富的規(guī)則結(jié)構(gòu)，這些結(jié)構(gòu)充滿不變量(相對(duì)于3D歐幾里德變換)。例如，在許多城市環(huán)境中，場(chǎng)景通常充滿人造物體，這些人造物體可能具有平行線、直角、規(guī)則形狀、對(duì)稱結(jié)構(gòu)、重復(fù)圖案等。所有這些幾何結(jié)構(gòu)具有豐富的在3D歐幾里德群的所有類型的子群下不變的屬性。結(jié)果，此類3D場(chǎng)景的3D(仿射或透視)圖像通常編碼與場(chǎng)景中的物體有關(guān)的極其豐富的3D信息。遺憾的是，現(xiàn)有特征提取技術(shù)通常不能很好地處理此信息，尤其是在透視變換的情形中。

發(fā)明內(nèi)容

提供本概述是為了以簡(jiǎn)化的形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概念。本概述并非旨在標(biāo)識(shí)所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用于幫助確定所要求保護(hù)的主題的范圍。

一般而言，如本文中所描述的“變換不變低秩紋理”(TILT)提取器提供了這樣的技術(shù)：用于從場(chǎng)景的2D圖像高效且有效地提取表示3D場(chǎng)景的區(qū)域的一類豐富的低秩紋理，而不用考慮相當(dāng)量且并發(fā)的域變換(包括仿射和投影變換兩者)。此類域變換的示例包括但不限于平移、旋轉(zhuǎn)、反射、扭斜、縮放等。由TILT提取器提供的低秩紋理對(duì)于捕捉圖像中在幾何上有意義的結(jié)構(gòu)是有用的，該圖像包括常規(guī)局部特征，諸如邊緣和角落以及城市環(huán)境中以及對(duì)其他自然或人造物體普遍存在的所有種類的近似規(guī)則或近似對(duì)稱的圖案。注意，如線性代數(shù)和矩陣數(shù)學(xué)領(lǐng)域的技術(shù)人員充分理解的，線性映射(在此情形中對(duì)應(yīng)于輸出紋理)的秩是線性映射的維數(shù)，該維數(shù)與映射的非零奇異值的數(shù)目相對(duì)應(yīng)。

換言之，TILT提取器從場(chǎng)景的2D圖像提取定義低秩平坦圖案的區(qū)域的紋理和幾何信息。與依賴于基于點(diǎn)的特征的傳統(tǒng)特征提取技術(shù)相比，TILT提取器從圖像提取多個(gè)區(qū)域，并且以3D方式相對(duì)于任意但可自動(dòng)確定的相機(jī)視點(diǎn)(或觀看方向)推導(dǎo)對(duì)這些區(qū)域的全局相關(guān)或變換(例如，變換包括平移、旋轉(zhuǎn)、反射、偏斜、縮放等)。一般而言，通過處理圖像的窗口以標(biāo)識(shí)所提取的區(qū)域來標(biāo)識(shí)這些區(qū)域。在各個(gè)所測(cè)試的實(shí)施例中，可觀察到，窗口大小的最小值大小大約為20×20個(gè)像素的窗口產(chǎn)生良好結(jié)果。然而，應(yīng)當(dāng)理解，如以下更詳細(xì)討論的，窗口大小可取決于多個(gè)因素，包括例如整個(gè)圖像大小、以及該圖像內(nèi)紋理區(qū)域的大小。