[發明專利]一種提取地標性場景摘要的方法

有效

• 申請號: 200910242751.3
• 申請日: 2009-12-16
• 公開（公告）號: CN101777059A
• 公開（公告）日: 2010-07-14
• 發明（設計）人: 徐常勝;張曉宇;程健;盧漢清;馬頌德
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06T7/00
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 梁愛榮

技術領域

本發明涉及圖像內容分析方法、顯著性檢測方法、網絡多媒體分析方 法等。

背景技術

近年來，隨著科學技術的進步和推廣，特別是多媒體技術和計算機網 絡技術的飛速發展，人類已經步入一個高度信息化的時代。網絡上的各式 各樣的多媒體信息不斷膨脹，尤其是直觀形象的數字圖像正以驚人的速度 增長。面對海量的圖像信息，如何對其進行有效的管理和利用，已經成為 一個亟待解決的問題。

給定一個特定的查詢，利用現有的圖像檢索技術可以方便地從海量圖 像庫中獲取與查詢相關的圖像集合。然而，由于查詢結果的數量往往依然 相當龐大，如何以簡明扼要的方式將查詢結果呈現給用戶，從而讓用戶無 需遍歷所有圖像就能了解查詢結果的全貌，是目前一個具有重要實際意義 的研究課題。標志性圖像(iconic?image)的提取可以較好地解決上述問 題。所謂標志性圖像指的是原圖像集的一個子集，該子集在規模上遠小于 原圖像集，內容上高度概括了原圖像集的全部內容。用戶通過瀏覽有限的 幾幅標志性圖像，便可以方便地了解原圖像集的全貌。

從海量的圖像庫中提取標志性圖像，現有的方法大致可以分為三大 類：(1)僅僅考慮二維圖像特征，結合特征匹配、聚類等方法，進而實 現標志性圖像的提取。然而，二維圖像特征并不能提供有效的幾何約束， 因而對于地標性場景圖像中常見的遮擋、視角轉換、光照變化等現象，該 方法往往不是很有效。(2)近年來，研究人員在文章中提出了利用三維 結構信息對地標性場景進行建模的方法，并取得了較好的結果。但是，由 于此類方法需要對數據庫中所有圖像中復雜的三維結構特征進行兩兩匹 配，導致計算復雜度相當高，因此只適用于規模較小的圖像庫。(3)為 了將上述方法推廣到大規模圖像庫，以便高效地從海量圖像集合提取標志 性圖像，將圖像二維和三維信息有機結合起來被證明是一種較為理想的選 擇，這種方法的主要思想是首先利用二維圖像特征進行初始的聚類，然后 在聚類基礎上利用三維結構約束逐步進行細化。該類方法的局限性在于提 取標志性圖像時僅僅從圖像在聚類中的代表性出發，沒有考慮到作為圖像 瀏覽者的用戶的感知以及圖像本身的特性，因而往往導致選取出來的標志 性圖像與用戶的瀏覽需求產生偏差。

發明內容

為了解決現有技術的問題，本發明的目的是以簡明扼要的方式將查詢 結果呈現給用戶，從而讓用戶無需遍歷所有圖像就能了解查詢結果的全 貌，為此，本發明提供一種提取地標性場景摘要的方法。

為了達成所述目的，本發明提出提取地標性場景摘要的方法的技術方 案如下所述：

步驟1：對每一幅地標性場景圖像，提取顏色矩、小波紋理作為地標 性場景圖像的全局特征，提取尺度不變轉換(SIFT)描述子作為地標性場 景圖像的局部特征；

步驟2：利用圖像的二維全局特征對地標性場景圖像庫進行初始聚類；

步驟3：從每一類中選取距離聚類中心最近的若干幅代表性圖像，利 用局部特征對代表性圖像進行基于顯著性的兩兩幾何驗證；

步驟4：幾何驗證之后，從每一個聚類集合中提取標志性圖像；

步驟5：利用類間幾何驗證對選出地標性場景圖像中用戶感興趣的區 域的標志性圖像進行幾何匹配篩選，將相同或相近視角的標志性圖像聚為 一類，從而實現相似類的融合，提取出地標性場景摘要。

其中，所述的基于顯著性的幾何驗證步驟如下：

步驟21：通過顯著性分析方法對每一幅代表性圖像計算對比度分布或 信息密度分布，得到代表性圖像中每一位置處的顯著性值，進而得到顯著 性圖；

步驟22：利用顯著性圖作為加權模板對兩幅代表性圖像進行三維幾何 匹配，利用匹配點所對應的顯著性值作為匹配度的權重，實現基于顯著性 的幾何驗證。

其中，獲取標志性圖像的步驟如下：

步驟31：在每類中，計算每一幅代表性圖像與所有其它代表性圖像的 顯著性加權匹配值總和；

步驟32：選取顯著性加權匹配值總和最高的若干幅圖像進行圖像質量 評估；

步驟33：選取圖像質量評估分值最高的圖像作為所在類的標志性圖 像。

其中，圖像質量評估的步驟如下：

步驟41：從訓練集中訓練出圖像質量分類模型；