[發明專利]基于深度學習的高層次語義圖像檢索方法

在審

• 申請號: 202010580880.X
• 申請日: 2020-06-23
• 公開（公告）號: CN111782852A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 韓紅;楊慎全
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F40/30;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 侯瓊;王品華

本發明公開了一種基于深度學習的高層次語義圖像檢索方法，主要解決現有技術從圖像語義角度進行檢索時存在的語義鴻溝問題。其實現步驟為：1)構建CNN?RNN網絡模型并進行訓練；2)使用訓練后的網絡模型提取圖像庫中圖片的文本特征；3)使用詞向量word2vec模型提取文本特征的語義特征向量并存儲；4)使用訓練后的網絡模型提取查詢圖片的文本特征，并提取其對應的語義特征向量；5)使用余弦法將查詢圖片的特征向量和圖像庫中特征向量進行計算比較，并輸出結果。本發明能夠有效降低語義鴻溝對系統的影響，使系統可從圖片的語義信息上實現相似性檢索，適用于互聯網企業日常的檢索業務也可用于嵌入與智能手機中搜索圖片。

技術領域

本發明屬于圖像處理技術領域，進一步涉及基于圖像的模式識別技術，具體為一種基于深度學習的高層次語義圖像檢索方法。可在圖像檢索過程中，對于查詢圖片(queryimage)，搜索得到圖像庫里與查詢圖片相似的圖像并將其輸出。

背景技術

在web2.0的今天，每時每刻都會有巨量的圖像上傳到網絡上，尤其隨著QQ、微信、微博、淘寶等應用程序的流行。例如淘寶的服務器中就存儲著近300億張圖片，相比于文本，圖片所包含的信息更為豐富，所以如何在這些巨量的圖像數據庫中發揮計算機的優勢，把人們從繁重的手工工作中解放出來，即快速、準確的檢索出用戶感興趣的圖片，具有很大的經濟價值和現實意義。圖片檢索技術已成為信息檢索領域中的一個研究熱點，越來越多的研究人員投入到了這一領域當中。

圖像檢索是指給定一包含特定內容的圖像，然后在圖像數據庫中找到包含相似內容的圖像。但是由于不同的圖像在拍攝角度、遮擋、光照等因素的影響下差別較大，如何在上述不可控因素的影響下快速找到想要的圖像，極具挑戰。

傳統的圖像檢索的方法，大多采用方向梯度直方圖HOG(Histogram of OrientedGradient)、尺度不變特征變換SIFT(Scale-invariant feature transform)等模型提取圖片的特征向量，然后通過計算特征向量的距離來輸出相似的圖片，但是通過以上模型智能提取例如形狀、姿態等某種類型的特征時，容易受到噪聲的影響，且計算速度慢、實時性差、檢索精度不高，所以亟待新的研究方法問世。

近年來，隨著大數據、深度學習研究的發展，卷積神經網絡CNN已成為當前語音分析和圖像識別領域的研究熱點，它的權值共享網絡結構使之更類似于生物神經網絡，降低了網絡模型的復雜度，減少了權值的數量。該優點在網絡的輸入是多維圖像時表現的更為明顯，使圖像可以直接作為網絡的輸入，避免了傳統圖像檢索算法計算量大、速度慢的缺點。

因為CNN等的快速發展，大量基于卷積神經網絡的圖像檢索算法被提出，其中最經典的算法當屬基于CNN和哈希算法的圖像檢索方法Deep Supervised Hashing for FastImage Retrieval(Haomiao Liu,Ruiping Wang,Shiguang Shan,Xilin Chen；The IEEEConference on Computer Vision and Pattern Recognition(CVPR),2016,pp.2064-2072)，它有效的提取了圖像的特征向量，并且降低了特征向量的維度，有很好的速度和精度。因此，隨后在CNN+哈希編碼的基礎上出現了許多改進的算法，但是，該方法也存在缺點，就是圖像檢索中的“語義鴻溝”問題一直沒有得到徹底的解決，即不能從圖片語義的角度去檢索相似的圖片。

廣東工業大學申請的專利“一種多特征融合的外觀設計專利圖像檢索方法”(專利申請號：CN2010101913413A，公開號：CN101847163A)中提出一種圖像檢索的方法，包括在特征提取方面采用將整體特征和局部特征相融合的辦法，此阿勇邊界方向直方圖算法和結構特征描述形狀特征，采用Gabor濾波算法和分類特征統計提取紋理特征，圖像檢索的過程中首先采用幾何特征進行比較，根據閾值對圖像篩選，其次用形狀特征和紋理特征進行相似度匹配，將圖像按相似度大小排序返回。該方法存在的不足之處是：由于采用了多種特征融合的方式，特征向量維數高、計算時間長，且實時性差。