[發(fā)明專利]基于數(shù)據(jù)庫鄰域關(guān)系的圖像特征增強(qiáng)方法

有效

• 申請?zhí)枺?/td>: 201610075002.6
• 申請日: 2016-02-01
• 公開（公告）號(hào): CN105760442B
• 公開（公告）日: 2019-04-26
• 發(fā)明（設(shè)計(jì)）人: 周文罡;孫韶言;李厚強(qiáng);田奇
• 申請（專利權(quán)）人: 中國科學(xué)技術(shù)大學(xué)
• 主分類號(hào): G06F16/583
• 分類號(hào): G06F16/583;G06N3/02;G06K9/62
• 代理公司: 北京凱特來知識(shí)產(chǎn)權(quán)代理有限公司 11260
• 代理人: 鄭立明;鄭哲

本發(fā)明公開了一種基于數(shù)據(jù)庫鄰域關(guān)系的圖像特征增強(qiáng)方法，包括：基于去除輸入圖像尺寸限制的改進(jìn)CNN特征提取方式，并通過最大能量池化方法自適應(yīng)地選擇輸入圖像的最優(yōu)尺度，從而完成數(shù)據(jù)庫圖像的CNN特征提取；針對數(shù)據(jù)庫圖像中的每一CNN特征均朝著其相關(guān)圖像的CNN特征進(jìn)行一定程度的移動(dòng)，使得數(shù)據(jù)庫中的相關(guān)圖像在特征空間聚合在一定范圍之內(nèi)，從而實(shí)現(xiàn)數(shù)據(jù)庫圖像CNN特征的增強(qiáng)。本發(fā)明公開的方案可以準(zhǔn)確、高效地實(shí)現(xiàn)圖像之間相關(guān)性的計(jì)算以應(yīng)用于圖像檢索系統(tǒng)。

技術(shù)領(lǐng)域

本發(fā)明涉及視覺檢索技術(shù)領(lǐng)域，尤其涉及一種基于數(shù)據(jù)庫鄰域關(guān)系的圖像特征增強(qiáng)方法。

背景技術(shù)

在圖像檢索領(lǐng)域，兩個(gè)最重要的基本問題是視覺特征提取與圖像相似性計(jì)算。在傳統(tǒng)的圖像檢索框架中，大多數(shù)方法假定所有圖像之間是相互獨(dú)立的，從而直接使用圖像特征之間的相似性來衡量圖像之間的相似性。因此，這一框架中圖像檢索的性能高度依賴于良好的視覺特征設(shè)計(jì)。除了應(yīng)用非常廣泛的基于局部視覺特征的詞袋模型外，近年來也涌現(xiàn)出很多使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)提取全連接層輸出的全局視覺特征進(jìn)行圖像檢索的工作，并取得了良好的效果。然而，這樣的全局特征對圖像的幾何變換的穩(wěn)健性較弱。同時(shí)由于傳統(tǒng)的模型對輸入圖像的大小有嚴(yán)格的限定，在輸入階段往往需要對圖像的長寬比也進(jìn)行改變，從而影響了描述圖像的能力。

除了提升視覺特征表述能力之外，也有一些工作嘗試通過利用數(shù)據(jù)庫圖像之間的相關(guān)性來提升圖像檢索的性能。其中包括兩種主要方法，即查詢擴(kuò)展和距離測度修正。查詢擴(kuò)展的主要思想是在進(jìn)行一次檢索后，通過檢索返回的結(jié)果對查詢圖像特征進(jìn)行一定的修改并再次進(jìn)行檢索。距離測度修正方法則通過數(shù)據(jù)庫圖像之間的關(guān)系，在圖像視覺特征的相似性基礎(chǔ)上進(jìn)行一定的修正，作為衡量圖像之間相似性的測度。兩種方法均在提升檢索性能上取得一定的成效，然而查詢擴(kuò)展僅僅利用了和查詢圖像最相關(guān)的數(shù)據(jù)庫圖像之間的關(guān)系，并沒有考慮到數(shù)據(jù)庫圖像互相之間的關(guān)系；距離測度修正則需要對每張圖像額外保存修正測度所需用到的參數(shù)。因此現(xiàn)有的利用數(shù)據(jù)庫圖像相關(guān)性提升檢索性能的方法仍存在較大的改進(jìn)空間。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于數(shù)據(jù)庫鄰域關(guān)系的圖像特征增強(qiáng)方法，可以準(zhǔn)確、高效地實(shí)現(xiàn)圖像之間相關(guān)性的計(jì)算以應(yīng)用于圖像檢索系統(tǒng)。

本發(fā)明的目的是通過以下技術(shù)方案實(shí)現(xiàn)的：

一種基于數(shù)據(jù)庫鄰域關(guān)系的圖像特征增強(qiáng)方法，包括：

基于去除輸入圖像尺寸限制的改進(jìn)CNN特征提取方式，并通過最大能量池化方法自適應(yīng)地選擇輸入圖像的最優(yōu)尺度，從而完成數(shù)據(jù)庫圖像的CNN特征提取；

針對數(shù)據(jù)庫圖像中的每一CNN特征均朝著其相關(guān)圖像的CNN特征進(jìn)行一定程度的移動(dòng)，使得數(shù)據(jù)庫中的相關(guān)圖像在特征空間聚合在一定范圍之內(nèi)，從而實(shí)現(xiàn)數(shù)據(jù)庫圖像CNN特征的增強(qiáng)。

進(jìn)一步的，所述基于去除輸入圖像尺寸限制的改進(jìn)CNN特征提取方式，并通過最大能量池化方法自適應(yīng)地選擇輸入圖像的最優(yōu)尺度，從而完成數(shù)據(jù)庫圖像的CNN特征提取包括：

基于改進(jìn)后的AlexNet模型提取數(shù)據(jù)庫圖像的CNN特征，所述改進(jìn)后的AlexNet模型為：將AlexNet模型中所有的全連接層除去，將池化層的輸出作為整個(gè)模型的輸出，從而去除AlexNet模型對輸入圖像尺寸的限制；

通過最大能量池化方法自適應(yīng)地選擇輸入圖像的最優(yōu)尺度：針對數(shù)據(jù)庫中的每一圖像均等比例縮放至N_S個(gè)尺度并作為輸入圖像輸入至改進(jìn)后的AlexNet模型中，每個(gè)尺度S_i上提取一個(gè)CNN特征其中，1≤i≤N_S，M為所提取CNN特征的維數(shù)，最優(yōu)尺度S滿足如下表達(dá)式：

通過上述方式選出數(shù)據(jù)庫中所有圖像的最佳尺度的特征后，對每一圖像最優(yōu)尺度的CNN特征中每一維進(jìn)行開方運(yùn)算，然后進(jìn)行L2歸一化，從而完成數(shù)據(jù)庫圖像的CNN特征提取。