[發(fā)明專利]一種基于磁盤的詞匯樹模型構(gòu)建方法

在審

• 申請?zhí)枺?/td>: 201710073072.2
• 申請日: 2017-02-10
• 公開（公告）號: CN106874446A
• 公開（公告）日: 2017-06-20
• 發(fā)明（設(shè)計）人: 施茂燊
• 申請（專利權(quán)）人: 深圳前海大造科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/62
• 代理公司: 成都行之專利代理事務(wù)所(普通合伙)51220
• 代理人: 田甜

技術(shù)領(lǐng)域

本發(fā)明涉及詞匯樹模型構(gòu)建方法領(lǐng)域，更具體的說是涉及一種基于磁盤的詞匯樹模型構(gòu)建方法。

背景技術(shù)

利用詞匯樹對圖片進(jìn)行搜索，是把從訓(xùn)練集中提取到的特征進(jìn)行K-Means聚類，生成的每個簇集定義為一個單詞，每個單詞再關(guān)聯(lián)一個倒排檔，然后把從查詢圖片中提取到的特征量化到這些單詞當(dāng)中，利用TF-IDF模型對查詢圖片與庫中圖片的相似度進(jìn)行評測。利用分層聚類生成的詞匯樹，使特征量化時不必遍歷所有單詞，極大縮短了量化所需時間。

在使用詞匯樹進(jìn)行特征分類前，需要通過訓(xùn)練得到一個合適的詞匯樹模型，在訓(xùn)練時，需要將大量的特征點(diǎn)進(jìn)行分層聚合分類。向樹狀結(jié)構(gòu)模型中添加圖片可以形成基于詞匯樹的圖像數(shù)據(jù)庫，針對不同數(shù)量級別的樹形圖像數(shù)據(jù)庫，所需要詞匯樹模型大小也不一樣。當(dāng)數(shù)據(jù)庫的量級超過百萬張圖片時，訓(xùn)練可以支持如此大規(guī)模的數(shù)據(jù)庫的詞匯樹模型可能需要近十萬張圖片，這一過程一般需要系統(tǒng)提取數(shù)以億級的圖片特征描述子，而相應(yīng)的硬件系統(tǒng)所需要的內(nèi)存也將達(dá)到上百GB，其對計算機(jī)的內(nèi)存要求高，這是一般的計算機(jī)很難以滿足的。

發(fā)明內(nèi)容

本發(fā)明為了解決上述技術(shù)問題提供一種基于磁盤的詞匯樹模型構(gòu)建方法，其在構(gòu)建用于建立大規(guī)模或超大規(guī)模圖像數(shù)據(jù)庫的詞匯樹模型時，可以充分利用外部存儲器的存儲空間，避免對計算機(jī)內(nèi)存提出過大要求。

本發(fā)明通過下述技術(shù)方案實現(xiàn)：

一種基于磁盤的詞匯樹模型構(gòu)建方法，包括以下步驟：

A、將用于構(gòu)建詞匯樹模型的圖片按照一定數(shù)量分為若干個樣本組；

B、分別提取每個樣本組里所有圖片的特征點(diǎn)描述子，根據(jù)特征點(diǎn)描述子之間的歐氏距離，分別對各樣本組的特征點(diǎn)描述子進(jìn)行聚合分類，分為K類且最大層數(shù)為L，將樣本組分類出的每個子樣本的幾何中心向量以及子樣本所對應(yīng)的描述子組寫入到外部存儲器中，其中，K和L均為大于1的自然數(shù)；

C、將所有樣本組子樣本的幾何中心向量讀入內(nèi)存，對所有子樣本的幾何中心向量進(jìn)行聚合分類，共包含K個子類；

D、針對該K個子類，對每一個子類做最大層數(shù)為L-1以及子節(jié)點(diǎn)數(shù)為K的分層聚合分類，完成詞匯樹模型的構(gòu)建。

在步驟C中，將每一個子類自己本身的幾何中心向量，以及分到這個子類中的所有幾何中心向量對應(yīng)的描述子檔的存儲路徑寫入到一個子類檔中，產(chǎn)生K個子類檔并存儲到外部存儲器上。

所述步驟D具體為：讀入一個子類檔，按照子類檔中所記錄的描述子文件的存儲路徑，讀入所有屬于這個子類的描述子，對該子類做最大層數(shù)為L-1以及子節(jié)點(diǎn)數(shù)為K的分層聚合分類，按照此步驟對每一個子類檔做相同操作后將分層聚合分類的結(jié)果匯總。

本發(fā)明與現(xiàn)有技術(shù)相比，具有如下的優(yōu)點(diǎn)和有益效果：

本發(fā)明在在構(gòu)建用于建立大規(guī)模或超大規(guī)模圖像數(shù)據(jù)庫的詞匯樹模型時，可以充分利用外部存儲器的存儲空間，減小內(nèi)存的負(fù)荷，避免對計算機(jī)內(nèi)存提出過大要求。

具體實施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，下面結(jié)合實施例，對本發(fā)明作進(jìn)一步的詳細(xì)說明，本發(fā)明的示意性實施方式及其說明僅用于解釋本發(fā)明，并不作為對本發(fā)明的限定。

實施例1

A、將圖片分為若干個樣本組；

B、分別提取每個樣本組里所有圖片的特征點(diǎn)描述子，根據(jù)特征點(diǎn)描述子之間的歐氏距離，分別對各樣本組的特征點(diǎn)描述子進(jìn)行聚合分類，分為K類且最大層數(shù)為L，將樣本組分類出的每個子樣本的幾何中心向量以及子樣本所對應(yīng)的描述子組寫入到外部存儲器中，其中，K和L均為大于1的自然數(shù)；

C、將所有樣本組子樣本的幾何中心向量讀入內(nèi)存，對所有子樣本的幾何中心向量進(jìn)行聚合分類，共包含K個子類；

D、針對該K個子類，對每一個子類做最大層數(shù)為L-1以及子節(jié)點(diǎn)數(shù)為K的分層聚合分類，完成詞匯樹模型的構(gòu)建。

針對上述實施例，現(xiàn)例舉一詳細(xì)實施方式進(jìn)行說明。

實施例2

現(xiàn)以45000張照片進(jìn)行詳細(xì)說明：

將這45000張圖片按照每組1500張隨機(jī)分為30組；

提取一組圖片的所有特征點(diǎn)描述子，根據(jù)特征點(diǎn)描述子之間的歐氏距離，對該組的特征點(diǎn)描述子進(jìn)行聚合分類，分為K類，譬如90類，并將該樣本組分類出的每個子樣本的幾何中心向量以及子樣本所對應(yīng)的描述子組寫入到一個文件放在外部存儲器上，譬如本地磁盤、硬盤、光盤、U盤等；按照該步驟分別對30組照片依此進(jìn)行處理，此時，在外部存儲器上一共會產(chǎn)生30*K個描述子檔；