[發(fā)明專利]用于圖像分析的方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201280069515.6
• 申請日: 2012-10-12
• 公開（公告）號: CN104160409B
• 公開（公告）日: 2017-12-19
• 發(fā)明（設(shè)計）人: M·巴爾斯特里;G·弗朗西尼;S·萊珀索伊
• 申請（專利權(quán)）人: 意大利電信股份公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F17/30
• 代理公司: 中國國際貿(mào)易促進委員會專利商標(biāo)事務(wù)所11038
• 代理人: 羅亞男

技術(shù)領(lǐng)域

本發(fā)明涉及圖像分析領(lǐng)域。

背景技術(shù)

在圖像分析領(lǐng)域中，常見操作是比較兩個圖像以在這兩個圖像包括同一場景或同一對象的至少一部分的情況下找到其間發(fā)生的關(guān)系。

在大量的應(yīng)用之中，至關(guān)重要的是進行圖像比較來校準(zhǔn)屬于多相機系統(tǒng)的攝像機，評估在所拍攝視頻的兩幀之間發(fā)生的動作，并且識別圖像(例如，照片)內(nèi)的對象。由于被專門設(shè)計成在所謂的可視搜索引擎中利用的對象識別算法最近的發(fā)展，導(dǎo)致后一個應(yīng)用呈現(xiàn)出越來越重要，即，從照片開始的自動化服務(wù)能夠標(biāo)識其內(nèi)描繪的對象并且提供與所標(biāo)識的對象相關(guān)的信息。這種類型的已知服務(wù)示例包括Google Goggles、Nokia Point&Find和kooaba Smart Visuals。對象識別應(yīng)用被提供用于比較描繪待識別對象的第一圖像(在行業(yè)術(shù)語中，被稱為“查詢圖像”)與多個模型圖像，每個模型圖像描繪一個已知對象；這樣允許執(zhí)行在查詢圖像中描繪的對象和模型圖像中描繪的對象之間的比較。

模型圖像通常被布置在適當(dāng)?shù)哪Ｐ蛿?shù)據(jù)庫中。例如，在在線購物場景中利用對象識別的情況下，每個模型圖像對應(yīng)于在線商店提供的一個項目(例如，圖書封面、DVD封面和/或CD封面的照片)。這里數(shù)據(jù)庫中包括的模型圖像的數(shù)量會相當(dāng)大；例如在線購物服務(wù)的模型數(shù)據(jù)庫可以包括數(shù)百萬不同的模型圖像。

用于執(zhí)行兩個圖像之間的比較操作的一種非常有效的方式被提供用于在第一圖像中選擇點(在行業(yè)術(shù)語中，被稱為關(guān)鍵點)的集合并隨后將該集合中的每個關(guān)鍵點與第二圖像中的一個對應(yīng)關(guān)鍵點匹配。通過提前環(huán)繞該點本身的圖像區(qū)域的局部特征(例如，點提取標(biāo)度、區(qū)域優(yōu)先定向以及所謂的“描述符”)，有利地執(zhí)行選擇第一圖像中的哪個點必須變成關(guān)鍵點的步驟。在圖像分析領(lǐng)域，關(guān)鍵點的描述符是描述以關(guān)鍵點為中心的圖像區(qū)域(稱為貼片)的亮度梯度的數(shù)學(xué)算符，這種貼片根據(jù)貼片本身的主亮度梯度定向。

在David G.Lowe的“Distinctive image features from scale-invariant keypoints”(國際計算機視覺期刊，2004)中，提出了標(biāo)度不變特征變換(SIFT)描述符；簡單地說，為了允許可靠的圖像識別，SIFT描述符在計及從與每個關(guān)鍵點對應(yīng)的圖像中提取的局部特征即便在圖像標(biāo)度、噪聲和光照改變時也應(yīng)該可檢測的每個情況下生成。SIFT描述符因此對于均勻標(biāo)度、定向是不變的，并且對于仿射失真和光照變化是部分不變的。

SIFT描述符是非常強大的工具，其允許選擇關(guān)鍵點用以執(zhí)行精確的圖像比較。然而，這種精確性只有利用非常大量的數(shù)據(jù)才能被實現(xiàn)；例如，典型的SIFT描述符是128數(shù)據(jù)字節(jié)的陣列。由于每個每個圖像中的關(guān)鍵點的數(shù)量相對較大(例如，對于標(biāo)準(zhǔn)VGA照片，1000-1500個關(guān)鍵點)，并且由于每個每個關(guān)鍵點與對應(yīng)的SIFT描述符關(guān)聯(lián)，因此待處理數(shù)據(jù)的總量可能變得過多而難以有效管理。

這一缺點在場景涉及使用移動終端(例如，標(biāo)識從通過智能電話的相機拍攝的照片提取的對象)的情況下加重。實際上，由于為了進行圖像分析而將執(zhí)行的操作非常復(fù)雜并且對計算負荷有要求，因此在這種情況下大多數(shù)操作通常在服務(wù)器側(cè)執(zhí)行；為了擁有執(zhí)行分析所需的全部信息，服務(wù)器需要從移動終端接收全部所需的數(shù)據(jù)，包括用于所有關(guān)鍵點的SIFT描述符。因此，將從終端發(fā)送至服務(wù)器的數(shù)據(jù)的量可能變得過多而難以保證服務(wù)的良好效率。

根據(jù)本領(lǐng)域已知的解決方案(例如，Google Goggles所采用的方案)，這一缺點通過從移動終端向服務(wù)器直接發(fā)送圖像而非描述符來從根本上解決。的確，由于非常大量的關(guān)鍵點，對應(yīng)的SIFT描述符的數(shù)據(jù)的量可能超過標(biāo)準(zhǔn)VGA照片本身的大小(以字節(jié)計)。

待處理數(shù)據(jù)的量可以通過在發(fā)送描述符陣列之前對其進行壓縮而被有利地減少。例如，可通過矢量量化來壓縮描述符陣列，所述矢量量化被提供用于將描述符陣列可具有的元組值近似為碼本的碼字的縮減集合。

待處理數(shù)據(jù)的量的進一步減少可以通過乘積碼矢量量化(即，通過將描述符陣列再分成子陣列并在隨后對每個每個子陣列應(yīng)用矢量量化)壓縮描述符陣列來實現(xiàn)。

Chandrasekhar V.等人：“Survey of SIFT Compression Schemes”(第二屆國際移動多媒體處理研討會暨第20屆國際模式識別會議”ICPR 2010；伊斯坦布爾，土耳其；2010年8月23-26，2010年8月22(2010-08-22)，第1-8頁)執(zhí)行文獻中提出的標(biāo)度不變特征變換(SIFT)壓縮方案的綜合調(diào)查，并在通用框架中對其進行評估。