[發(fā)明專利]一種圖像中對象的識別方法和裝置

無效

• 申請?zhí)枺?/td>: 201210526946.2
• 申請日: 2012-12-10
• 公開（公告）號: CN103106239A
• 公開（公告）日: 2013-05-15
• 發(fā)明（設(shè)計）人: 宗競
• 申請（專利權(quán)）人: 江蘇樂買到網(wǎng)絡(luò)科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/54
• 代理公司: 蘇州威世朋知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32235
• 代理人: 楊林潔

技術(shù)領(lǐng)域

本發(fā)明涉及多媒體內(nèi)容的檢索技術(shù)，尤其是一種圖像中對象的識別方法和裝置。

背景技術(shù)

隨著互聯(lián)網(wǎng)的迅速發(fā)展，基于文字信息的內(nèi)容搜索技術(shù)得到了迅速發(fā)展，并且成為一項重要的網(wǎng)絡(luò)應(yīng)用，例如Google、Bing和Yahoo?Search等都提供相關(guān)服務(wù)。并且，最近幾年，由于移動電話、照相機(jī)和攝像機(jī)的廣泛應(yīng)用，越來越多的多媒體內(nèi)容被產(chǎn)生出來，并存儲在個人計算機(jī)或網(wǎng)站上。對這些多媒體內(nèi)容進(jìn)行檢索進(jìn)而進(jìn)行相關(guān)利用成為一項重要課題。

因而，多媒體內(nèi)容的檢索技術(shù)受到了越來越多的關(guān)注。但是，現(xiàn)有的多媒體內(nèi)容搜索或檢索系統(tǒng)，例如Google?image、video?searching、Flickr、Bing?image或video?searching以及Youtube等都完全依賴于用戶輸入的文字查詢條件。用戶輸入檢索文字（例如關(guān)鍵字），系統(tǒng)通過將所述檢索文字與多媒體內(nèi)容的標(biāo)題、注解或者周圍文字進(jìn)行文字匹配而進(jìn)行多媒體內(nèi)容的搜索。并且，有些現(xiàn)有技術(shù)用于從多媒體內(nèi)容中直接提取信息，例如從多媒體內(nèi)容中尋找對象、事件或者其他信息。這種信息還可以用于進(jìn)一步的多媒體搜索或者內(nèi)容索引等。

基于模型的對象識別是最常用的在圖像中搜尋對象的方法。在這種方法中，構(gòu)建3D對象模型并將其投射至2D空間以形成圖像模型。隨后，利用特定對象的整體外觀作為模型與模型數(shù)據(jù)庫中的模型進(jìn)行外形匹配，進(jìn)而發(fā)現(xiàn)圖像中的特定對象。

但是，為了準(zhǔn)確判斷圖像中存在的對象，上述的模型數(shù)據(jù)庫需要包括充足的對象模型或者對象零件模型，這種要求很難實現(xiàn)并且成本很高。另外，即使具有滿足要求的模型數(shù)據(jù)庫，由于上述的匹配過程需要對模型數(shù)據(jù)庫中的全部模型進(jìn)行操作，因此需要大量計算。

因此，需要一種效率更高的圖像中對象的識別技術(shù)。

發(fā)明內(nèi)容

根據(jù)本發(fā)明的一個方面，提供了一種圖像中對象的識別方法，包括下述步驟：從圖像的上下文信息中提取名詞實體以獲取圖像中可能對象的概念表示；和利用所述概念表示對所述對象模型數(shù)據(jù)庫進(jìn)行匹配操作以識別所述圖像中存在的相關(guān)對象。

其中，所述圖像的上下文信息包括圖像的題目、注解和圖像周圍的文字。

其中，所述概念表示是所述上下文信息的一組認(rèn)知近義詞。

其中，通過對所述概念表示進(jìn)行語義擴(kuò)展和推導(dǎo)得出所述一組認(rèn)知近義詞。

所述方法還可以包括，將所述匹配操作中得出的與圖像的概念表示相匹配的對象模型數(shù)據(jù)庫中的模型與所述圖像進(jìn)行低層次特征匹配以識別圖像中的對象。

所述方法還可以包括，在提取所述圖像的上下文信息的名詞實體之前，對所述圖像進(jìn)行預(yù)處理。

其中，所述預(yù)處理包括噪聲抑制、邊界檢測和低層次特征提取。

其中，采用自然語言處理從圖像的上下文信息中提取名詞實體以獲取圖像中可能對象的概念表示。

根據(jù)本發(fā)明的另一方面，提供了一種圖像中對象的識別裝置，包括：從圖像的上下文信息中提取名詞實體以獲取圖像中可能對象的概念表示的裝置；和利用所述概念表示對所述對象模型數(shù)據(jù)庫進(jìn)行匹配操作以識別所述圖像中存在的相關(guān)對象的裝置。

附圖說明

圖1是根據(jù)本發(fā)明實施方式的圖像中對象識別的方法的流程圖；和

圖2是根據(jù)本發(fā)明實施方式的圖像中對象識別的裝置的框圖。

具體實施方式

下面對參考附圖對本發(fā)明的圖像中對象的識別方法方法和裝置的優(yōu)選實施例進(jìn)行詳細(xì)的描述，需要注意的是，下面的描述僅是示意性的，其中所涉及的內(nèi)容并不構(gòu)成對發(fā)明所涉及內(nèi)容的限制，本領(lǐng)域技術(shù)人員在下面公開內(nèi)容的基礎(chǔ)上還可以有許多不同的變化方式，這些都屬于本發(fā)明的保護(hù)范圍。

下面以基于模型的圖像中對象識別為例對本發(fā)明的實施方式進(jìn)行詳細(xì)說明。

在現(xiàn)有的基于模型的圖像中對象識別方法中，首先要建立一個對象模型數(shù)據(jù)庫，該數(shù)據(jù)庫用于識別和定位圖像中的特定對象。可以利用現(xiàn)有技術(shù)對象模型數(shù)據(jù)庫的建立，例如3D投射等。并且，通常是以離線方式建立所述對象模型數(shù)據(jù)庫。對象模型數(shù)據(jù)庫的作用是為圖像中的對象識別提供所需對象的形狀的全面信息。對象模型數(shù)據(jù)庫的建立可以通過各種現(xiàn)有技術(shù)來實現(xiàn)。并且，本發(fā)明的重點并不在于該數(shù)據(jù)庫的建立，因此在本發(fā)明中不再進(jìn)行進(jìn)一步的詳細(xì)描述。

對圖像首先進(jìn)行預(yù)處理，例如噪聲抑制、邊界檢測和低層次特征提取等。然后，基于對象模型數(shù)據(jù)庫中的模型，對圖像進(jìn)行匹配操作，即可發(fā)現(xiàn)圖像中存在何種對象。但是，如上所述，該匹配操作需要大量計算。