[發(fā)明專利]一種基于分層結(jié)構(gòu)的圖像檢索方法

有效

• 申請?zhí)枺?/td>: 201310505213.5
• 申請日: 2013-10-23
• 公開（公告）號: CN103530405A
• 公開（公告）日: 2014-01-22
• 發(fā)明（設計）人: 韋星星;韓亞洪;操曉春
• 申請（專利權(quán)）人: 天津大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/62
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 程毓英

所屬技術領域

本發(fā)明屬于圖像檢索技術領域，涉及一種基于分層結(jié)構(gòu)的圖像檢索方法。

背景技術

使用更加豐富的語義信息來描述一幅圖像無論對理解該圖像還是從Web上面檢索該圖像都是及其重的。一方面，當面對一幅新的圖像時，人們首先想知道的是圖像中的物體屬于哪個類（比如是一種動物還是一種交通工具），當獲取到它的類信息后，更進一步人們想知道它是屬于哪個子類（屬于鳥類，還是屬于貓科動物），此外，每種物體都具有自己特有的屬性信息，比如是否具有羽毛，是否會飛，是否食肉等等。通過這些信息，人們可以從多個角度更加精確的來理解一幅圖像，同時獲取到更多關于圖像中物體的知識。另一方面，在圖像檢索領域，由于計算機是使用低層特征來表示一幅圖像的，這樣由計算機給出的檢索結(jié)果并不能很好的匹配用戶的檢索意圖，為了克服圖像檢索領域存在的這種“語義鴻溝”，也需要使用更加豐富更加精確的語義信息來描述一幅圖像。

在過去的幾年中已經(jīng)涌現(xiàn)出了各種各樣的圖像描述方法，比如使用單個標簽來描述圖像中的物體屬于動物還是植物，這種描述方法雖然指定了圖像中物體的類別，但是所蘊含的信息非常有限，為了克服這個缺點，人們就創(chuàng)建一個標簽庫，然后選取標簽庫中與之相關的多個標簽來描述圖像中的某個物體，但是標簽庫畢竟有限，不可能覆蓋自然界中的所有物體，于是就產(chǎn)生了基于屬性的圖片描述方法，這類方法使用物體的屬性信息，比如是否會飛，是否有羽毛等去描述一幅圖像，這樣做的好處是即使遇到了一幅沒有見過的圖像，人們依然可以使用一些基本的屬性信息去描述它，從而獲取對圖像的一些感性認識。不管這些圖像描述方法是從什么角度，使用什么信息來描述圖像的，他們的目標都是為了獲取圖像中更加豐富的語義信息。

為此，本發(fā)明提出了一種基于分層結(jié)構(gòu)的圖像檢索方法，即使用一個3層樹狀結(jié)構(gòu)標簽來描述圖像中的物體，其中第一層指出了物體所屬的大類，第二層指出了物體所屬的子類，第三層指出了圖像具有的屬性信息。這種分層的樹狀結(jié)構(gòu)語義單元融合了現(xiàn)有方法的優(yōu)點，不僅可以給出物體在不同層次上的類別信息和屬性信息，而且可以輸出一個體現(xiàn)這些信息結(jié)構(gòu)的語義單元，從而給出對圖像一個更加豐富和精確的描述。使用該3層樹狀結(jié)構(gòu)進行圖像檢索，可以完整的保留出屬物體類別信息和屬性信息的關系，進而檢索到更加精確的圖像結(jié)果。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種新基于分層結(jié)構(gòu)的圖像檢索方法，使得圖像對圖像的描述和檢索更為精確。本發(fā)明使用一個3層的樹狀結(jié)構(gòu)語義標簽來描述一幅圖像，并進而使用該結(jié)構(gòu)化的描述進行圖像檢索。本發(fā)明提出的基于分層結(jié)構(gòu)的圖像檢索方法包括如下步驟：

第一步，獲取進行訓練的圖像，并對圖像中每個物體構(gòu)造3層樹狀結(jié)構(gòu)標簽，形成訓練集：

(1)獲取進行訓練的圖像，構(gòu)建圖像集合IMG；

(2)使用圖像分割算法分割出集合IMG中每幅圖像中所包含的物體，構(gòu)成物體集合OBJ；

(3)對集合OBJ中的每個物體進行標注，標注的內(nèi)容包括物體所屬的類，子類以及具有的屬性，形成類集合CLASS，子類集合SUBCLASS以及屬性集合ATTRIBUTE；

(4)根據(jù)標注信息對集合OBJ中的每個物體構(gòu)造包括類-子類-屬性3層樹狀結(jié)構(gòu)標簽，形成與OBJ相對應的標簽集合Y，兩個集合的元素一一對應；

(5)類集合CLASS中有很多相同的元素，順序掃描CLASS中的每個元素，相同的元素只保留一個，形成候選的類集合Cla，對其子類集合SUBCLASS和屬性集合ATTRIBUTE做相同的掃描，得到候選的子類集合Subcl和候選的屬性集合Attri；

(6)構(gòu)造包括：物體集合OBJ，標簽集合Y，候選的類集合Cla，候選的子類集合Subcl以及候選的屬性集合Attri的訓練集Tr。

第二步，提取訓練集中圖像每個物體的低層特征，訓練得到所有候選的類，子類以及屬性相對應的分類器，形成下一步建模所需要的中間數(shù)據(jù)的步驟如下：

(1)提取物體集合OBJ中每個物體的局部二值模式特征（LBP）特征，構(gòu)造特征集合X；