[發(fā)明專利]一種基于深度學(xué)習(xí)的跨媒體中草藥植物圖像搜索方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201611206559.5
• 申請(qǐng)日: 2016-12-23
• 公開(kāi)（公告）號(hào): CN106777185B
• 公開(kāi)（公告）日: 2020-07-10
• 發(fā)明（設(shè)計(jì)）人: 張引;胡直峰
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06F16/583
• 分類號(hào): G06F16/583;G06F16/55;G06K9/62
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 鄭海峰

本發(fā)明公開(kāi)了一種基于深度學(xué)習(xí)的跨媒體中草藥植物圖像檢索方法。步驟如下：1)通過(guò)OCR，文本結(jié)構(gòu)化處理，從《植物分類學(xué)》等書籍中抽取植物分類描述文字2)使用中文分詞工具，對(duì)所有植物分類描述文字進(jìn)行包括分詞和去停用詞在內(nèi)的預(yù)處理；3)用word2vec算法根據(jù)描述文本生成詞向量；4)使用Fisher Vector將描述文本進(jìn)行編碼；5)利用卷積神經(jīng)網(wǎng)絡(luò)在圖片集上進(jìn)行訓(xùn)練，使網(wǎng)絡(luò)結(jié)構(gòu)收斂到最優(yōu)狀態(tài)；6)提取卷積神經(jīng)網(wǎng)絡(luò)的倒數(shù)第二層全連接層輸出作為圖片特征向量；7)融合文本特征與圖片特征；8)使用線性核SVM分類器進(jìn)行模型訓(xùn)練；9)用戶檢索時(shí)可輸入圖像、描述植物文本，之后利用4)、6)、7)、8)步得到最終的圖片檢索結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明具體涉及信息檢索領(lǐng)域，具體涉及一種基于深度學(xué)習(xí)的跨媒體中草藥植物圖像檢索方法。

背景技術(shù)

中草藥植物圖像檢索技術(shù)屬于微差圖像檢索的一部分，意在根據(jù)用戶輸入的圖片及描述文本(二者至少取其一)，得到用戶所檢索的中草藥圖像的類別，增加描述信息意在解決僅根據(jù)圖像進(jìn)行圖像檢索時(shí)遇到的準(zhǔn)確率問(wèn)題，增加相應(yīng)的植物描述信息如葉片情況等能夠提高圖像檢索的準(zhǔn)確率。

目前常用圖像檢索中，通常利用局部特征描述算子如SIFT等生成局部特征，之后利用特征編碼方法如Bag of Visual Words(BoV)進(jìn)行特征編碼，之后使用非線性核函數(shù)支持向量機(jī)(SVM)進(jìn)行特征分類，訓(xùn)練分類模型。

在實(shí)際操作中，非線性核函數(shù)支持向量機(jī)(SVM)往往需要較長(zhǎng)時(shí)間進(jìn)行數(shù)據(jù)處理，當(dāng)面對(duì)較大數(shù)據(jù)集時(shí)時(shí)間復(fù)雜度導(dǎo)致的性能衰減非常明顯。同時(shí)僅根據(jù)用戶上傳圖像進(jìn)行圖像檢索需要用戶所上傳圖像具有較好的圖像質(zhì)量。中草藥圖像中往往含有復(fù)雜背景，被攝主體不明確等情況，增加額外的文本描述信息，并在最終系統(tǒng)中增加描述信息的內(nèi)容有助于提高圖像檢索準(zhǔn)確度。

發(fā)明內(nèi)容

目前比較通用圖像檢索方法由于時(shí)間和背景的約束，無(wú)法應(yīng)用在中草藥植物圖像的檢索上，需要考慮增加文本描述信息來(lái)輔助圖像檢索匹配技術(shù)進(jìn)行準(zhǔn)確率的提升。以及在面對(duì)較大訓(xùn)練集的圖片數(shù)據(jù)庫(kù)時(shí)，傳統(tǒng)的非線性SVM分類器的性能會(huì)有明顯衰減，需要謀求一種使用線性SVM分類器的模型進(jìn)行圖像分類訓(xùn)練。在圖像檢索過(guò)程中，增加描述文本需要考慮如何將表征描述文本，以及如何表征圖像特征，如何進(jìn)行兩者的結(jié)合。

為實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

一種基于深度學(xué)習(xí)的跨媒體中草藥植物圖像檢索方法，包括以下步驟：

1)通過(guò)OCR、文本結(jié)構(gòu)化處理，從植物分類數(shù)據(jù)中提取結(jié)構(gòu)化植物分類描述；

2)使用中文分詞工具，對(duì)所有植物分類描述進(jìn)行預(yù)處理，預(yù)處理包括分詞和去停用詞，并建立詞典；

3)在步驟2)建立的詞典基礎(chǔ)上，用word2vec模型根據(jù)所有植物分類描述構(gòu)建詞向量；

4)利用Fisher Vector特征編碼方法，根據(jù)植物分類描述中所包含的詞的詞向量，生成植物分類描述的特征；

5)根據(jù)已有圖像數(shù)據(jù)庫(kù)及圖像類別，利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練；

6)根據(jù)步驟5)訓(xùn)練出的卷積神經(jīng)網(wǎng)絡(luò)模型，根據(jù)每張圖片在神經(jīng)網(wǎng)絡(luò)中得到的倒數(shù)第二層全連接層的輸出即4096維特征向量作為圖片特征；

7)將植物類別對(duì)應(yīng)的文本特征與圖像特征進(jìn)行特征融合；

8)將步驟7)生成的融合特征送入線性SVM分類器進(jìn)行模型構(gòu)建；

9)用戶檢索時(shí)輸入的圖像或/和植物描述文本，根據(jù)輸入的植物描述文本，在步驟2)建立的詞典基礎(chǔ)上，利用word2vec模型生成描述文本詞向量表示；根據(jù)輸入的圖像，利用步驟6)生成植物圖像特征向量；然后利用步驟7)將描述文本詞向量和圖像特征向量進(jìn)行編碼，得到融合的特征向量，最后利用步驟8)得到用戶檢索圖像類別。