[發(fā)明專利]基于圖像特征空間和空域空間的視覺詞組構(gòu)建方法和裝置

在審

• 申請?zhí)枺?/td>: 202110008899.1
• 申請日: 2021-01-05
• 公開（公告）號: CN112668590A
• 公開（公告）日: 2021-04-16
• 發(fā)明（設(shè)計(jì)）人: 王亞楠
• 申請（專利權(quán)）人: 瞬聯(lián)軟件科技（南京）有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/52;G06K9/62;G06F16/583;G06F16/55
• 代理公司: 北京汲智翼成知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11381
• 代理人: 陳曦;賈興昌

本發(fā)明公開了一種基于圖像特征空間和空域空間的視覺詞組構(gòu)建方法和裝置。該方法包括如下步驟：提取目標(biāo)圖像中滿足預(yù)設(shè)條件的視覺單詞，組成視覺單詞集合；在視覺單詞集合中選取目標(biāo)圖像中目標(biāo)區(qū)域內(nèi)的各關(guān)鍵特征單詞；針對每一個(gè)關(guān)鍵特征單詞，在視覺單詞集合中提取與該關(guān)鍵特征單詞有幾何關(guān)系的鄰域特征單詞，與該關(guān)鍵特征單詞構(gòu)成對應(yīng)視覺詞組；基于構(gòu)成的各視覺詞組，建立描述目標(biāo)圖像特征的視覺詞組集合。本發(fā)明將圖像的局部特征空間和空域空間進(jìn)行結(jié)合，共同構(gòu)建視覺詞組，可以大大降低目前視覺詞組在圖像匹配過程中的歧義性，獲得有更高區(qū)分性的視覺詞組。

技術(shù)鄰域

本發(fā)明涉及一種基于圖像特征空間和圖像空域空間的視覺詞組構(gòu)建方法，同時(shí)涉及相應(yīng)的視覺詞組構(gòu)建裝置，屬于圖像識別技術(shù)領(lǐng)域。

背景技術(shù)

圖像視覺特征的提取與表達(dá)是圖像檢索、分割和識別類算法中最基本、最核心的部分。高區(qū)分性的特征(Discriminative Feature)無論對圖像的檢索還是圖像的分割、識別都有重要的意義。

根據(jù)特征的表達(dá)方式，圖像特征通常可以分為：底層特征、中層特征和高層特征。低層特征往往由邊緣、顏色、紋理等底層特征為基本單元構(gòu)成，高層特征是按人的認(rèn)知方式來理解圖像的高層語義信息，而中層特征是為了減小底層與高層之間的語義鴻溝而提出的一種在底層特征分析的基礎(chǔ)上產(chǎn)生的特征。從人的認(rèn)知角度來看，對圖像的理解，首先是抽象程度較高的高層語義特征，同時(shí)又包括簡單的底層特征。因此，人的視覺對圖像的理解是不同層次、不同粒度語義信息的獲取過程。

傳統(tǒng)的圖像特征模型往往由特征點(diǎn)、邊緣、顏色、紋理等底層特征為基本單元，向上構(gòu)建復(fù)雜語義和概念抽象。但是由于底層特征及其構(gòu)建的局部特征，往往存在同義性和多義性，即相似的局部特征可能量化到不同的局部特征上，而不相似的局部特征也可能量化到相同的局部特征上，而基于深度學(xué)習(xí)提取的語義特征還存在著區(qū)分性不高的現(xiàn)狀。另一方面，圖像來源及種類多樣復(fù)雜，并受到尺度、光照、視角和復(fù)雜背景等不同因素的制約，從而產(chǎn)生底層特征和高層語義之間的語義鴻溝。因此，如何定義高區(qū)分性的圖像特征，如何克服圖像特征的同義性和多義性，仍然是目前亟待解決的問題。

發(fā)明內(nèi)容

本發(fā)明所要解決的首要技術(shù)問題在于提供一種基于圖像特征空間和圖像空域空間的視覺詞組構(gòu)建方法。

本發(fā)明所要解決的另一技術(shù)問題在于提供一種基于圖像特征空間和圖像空域空間的視覺詞組構(gòu)建裝置。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用下述的技術(shù)方案：

根據(jù)本發(fā)明實(shí)施例的第一方面，提供一種基于圖像特征空間和圖像空域空間的視覺詞組構(gòu)建方法，包括如下步驟：

提取目標(biāo)圖像中滿足預(yù)設(shè)條件的視覺單詞，組成視覺單詞集合；

在視覺單詞集合中選取目標(biāo)圖像中目標(biāo)區(qū)域內(nèi)的各關(guān)鍵特征單詞；

針對每一個(gè)關(guān)鍵特征單詞，在視覺單詞集合中提取與該關(guān)鍵特征單詞有幾何關(guān)系的鄰域特征單詞，與該關(guān)鍵特征單詞構(gòu)成對應(yīng)視覺詞組；

基于構(gòu)成的各視覺詞組，建立描述目標(biāo)圖像特征的視覺詞組集合。

其中較優(yōu)地，所述提取目標(biāo)圖像中滿足預(yù)設(shè)條件的視覺單詞，組成視覺單詞集合，具體包括如下步驟：

將目標(biāo)圖像的局部特征量化為各視覺單詞；

針對視覺單詞的類別，統(tǒng)計(jì)各類視覺單詞的出現(xiàn)頻率，選擇頻率高于預(yù)設(shè)頻率的視覺單詞組成視覺單詞集合。

其中較優(yōu)地，所述在視覺單詞集合中提取與該關(guān)鍵特征單詞有幾何關(guān)系的鄰域特征單詞，具體包括如下步驟：

以當(dāng)前關(guān)鍵特征單詞在目標(biāo)圖像中的位置為圓心，以預(yù)定距離為半徑畫圓；