[發明專利]基于多模態的服裝圖像檢索方法

在審

• 申請號: 201410214929.4
• 申請日: 2014-05-20
• 公開（公告）號: CN103955543A
• 公開（公告）日: 2014-07-30
• 發明（設計）人: 葉茂;趙苗苗;劉啟和;蔡小路;占偉鵬
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 成都宏順專利代理事務所(普通合伙) 51227
• 代理人: 周永宏

技術領域

本發明屬于數字圖像處理技術領域，具體涉及一種基于多模態的服裝圖像檢索方法。

背景技術

隨著互聯網的廣泛普及以及電子商務的迅速發展，每天都有數以萬計的商品信息涌入人們的眼簾，尤其是服裝商品信息。如何能快速并有效的從海量的數據中尋找到人們所感興趣的服裝信息，成為迫切需要解決的問題。服裝信息包括對服裝的文字描述和圖像表現。如今市面上，最多的關于服裝檢索的搜索引擎都是基于文本關鍵字的，例如淘寶，京東，亞馬遜，ebay等。雖然這些搜索引擎被越來越多的用戶所熟知和使用，但是其本身的局限性是有目共睹的。當用戶想尋找某一款具體的衣服時，只能通過詳盡的關鍵字描述，然后從數千計的候選列中一一篩選出自己感興趣的衣服，用戶進行的大量操作極度考驗用戶的耐心，浪費了用戶的大量時間和精力。

此外，服裝圖像本身也是一種檢索內容，以服裝圖像作為輸入得到其相同或類似的服裝信息。類似的以圖搜圖的系統有：百度識圖，谷歌的圖片搜索，TinEye,GazoPa等，其中基于內容的圖像檢索是以圖搜圖的關鍵技術之一。基于內容的圖像檢索是通過圖像特征的提取以及描述，得到相同或者相似的圖像檢索。然而傳統的基于內容的圖像檢索技術對本問題不能進行有效的建模以達到準確檢索的目標。

現有基于內容的圖像檢索技術的基本實現步驟為：(1)構建圖像庫；(2)提取圖像特征；(3)通過計算特征之間距離(如歐式距離，曼哈頓距離等)，得到兩幅圖像的相似程度；(4)用戶輸入圖像，得到與其相同或者相似的圖像。此方法應用在服裝圖像檢索系統存在以下幾個問題：1)忽視了服裝信息所包含的文本信息；2)計算圖像間相似度需要進行高維向量間距離計算，線性遍歷的效率極低；3)缺少用戶與系統之間的交互，缺乏對檢索結果的驗證過程。

長春工業大學的侯阿臨等人發表在《現代電子技術》2010年第6期總第317期的論文《基于多特征的服裝圖像檢索》中提出了一種基于多特征的服裝圖像檢索的方法，該方法存在以下三個問題：1)忽視了服裝信息中的文本關鍵字，文本關鍵字信息對于服裝分類以及初選有重要作用；2)只提取了服裝圖像中的形狀特征和顏色特征，忽視了其他特征對服裝圖像的影響，例如紋理特征；3)采取分層檢索的方式，每層檢索只使用一個特征，大大影響檢索結果，降低查全率。

CN102254043公開了一種基于語義映射的服裝圖像檢索方法，該發明存在以下缺陷：1)提出的提取服裝圖像底層特征構建服裝領域知識庫，獲取服裝圖像的語義信息的過程中存在視覺特征到語義信息的轉換鴻溝；2)提出通過設置閥值得到某一特征類中服裝圖像的高頻詞，但是此高頻詞并不能準確的對此類中所有服裝進行描述，也就是存在視覺特征與高頻詞不對等的問題，影響檢索的準確率和查全率。

發明內容

為解決上述問題，本發明提供了一種基于多模態的服裝圖像檢索方法。

本發明的具體技術方案為：一種基于多模態的服裝圖像檢索方法，具體實現步驟為：

S1：構建服裝圖像文本庫；

S2：構建服裝圖像特征庫；

S3：用戶輸入待檢索服裝圖像和文本描述；

S4：通過文本檢索得到候選集Q1；

S5：通過圖像多特征檢索得到候選集Q2；

S6：根據用戶反饋對候選集Q2進行重排得到結果集R。

進一步的，步驟S1中所述的構建服裝圖像文本庫的具體步驟為：

S11：通過網頁分析，提取出對應服裝圖像的網頁文本信息；

S12：將文本信息存儲到數據庫中；

S13：對文本信息進行分詞；

S14：創建文本索引文件。

進一步的，步驟S2中所述的構建服裝圖像特征庫的具體步驟為：

S21：對服裝圖像進行預處理操作，包括灰度處理和尺度歸一化過程；

S22：分別提取圖像的形狀特征、顏色特征和紋理特征；

S23：對三種圖像特征拼接而成的新特征進行聚類；

S24：得到每張服裝圖像所對應的聚類中心描述；

S25：創建圖像索引文件。

進一步的，步驟S3中所述服裝圖像是本地上傳的包含服裝的圖像，所述文本描述可以通過勾選服裝類別或者用戶輸入自定義文本獲取得到。

進一步的，步驟S4中所述的通過文本檢索得到候選集Q1，是利用用戶勾選的服裝類別或輸入的自定義文本，通過文本檢索接口，得到對應的檢索候選集Q1。

進一步的，步驟S5中所述的通過圖像多特征檢索得到候選集Q2，具體步驟為：