[發明專利]一種融合圖像標簽信息的手繪圖像實時檢索方法

在審

• 申請號: 202210396360.2
• 申請日: 2022-04-15
• 公開（公告）號: CN114647754A
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 戴大偉;唐曉宇;劉穎格;夏書銀;王國胤
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06F16/535
• 分類號: G06F16/535;G06F16/583;G06N3/04;G06N3/08
• 代理公司: 重慶輝騰律師事務所 50215
• 代理人: 盧勝斌

本發明屬于圖像檢索領域，具體涉及一種融合圖像標簽信息的手繪圖像實時檢索方法，包括：采用改進的神經網絡模型，提取手繪草圖的特征圖以及實物圖像的特征向量，在生成手繪圖像的特征向量檢索時計算草圖分支與所有圖像間的歐式距離D，取D的平均值d_m作為標簽距離基準值，根據輸入標簽，以及數據庫中所存Softmax處理的對應輸入標簽類別的概率值偽標簽P_c，按照數據庫樣本類別分別對距離d_m進行加權，得到標簽加權距離值D_l，最終根據D與D_l之和對數據庫中的圖像進行排序，返回檢索到的top?k張圖片；本發明在進行早期草圖檢索時，可使用目標圖像的顏色、特征等信息進行查詢，在筆畫信息少的時候大大增加檢索效率。

技術領域

本發明屬于動態草圖檢索領域，具體涉及一種融合圖像標簽信息的手繪圖像實時檢索方法。

背景技術

由于觸摸屏的發展，近年來基于草圖的圖像檢索可以靈活地使用不受限制的手繪草圖查詢自然圖像受到廣泛關注。草圖檢索根據檢索類別不同可以分為粗粒度草圖檢索(Category-level sketch retrieval，CBIR)和細粒度草圖檢索(Fine grained SBIR，FG-SBIR)。細粒度草圖檢索FG-SBIR是針對手繪草圖的細節進行圖像匹配，旨在檢索圖庫中的特定照片。目前，對于FG-SBIR的研究取得了很大的進展，但在繪制草圖的過程中存在三個問題阻礙了FG-SBIR在實踐中的廣泛應用：(1)用戶的繪圖技能不足，繪制的草圖樣式差異比較大，造成檢索效率低下。(2)繪制完整草圖所需的時間以及用最少的筆畫檢索到目標圖像縮短草圖檢索時間這也是必須考慮的問題。(3)草圖具有抽象性，草圖檢索時一般用簡單的線條搜索目標圖像，樣本草圖含有的信息僅有黑白線條，信息比較少。其次，草圖具有多異性，樣式差異小的目標圖像(例如：女士高跟鞋)的輪廓相似性極高，導致他們的草圖也具有極高相似性，從草圖中沒有辦法區分，這也是導致早期草圖檢索效率低下的原因。傳統方法中用戶檢索商品時，只能使用線條來檢索目標圖像，在檢索過程中如果用戶想要紅色顏色的椅子，但是因為線條信息不包含顏色信息，可能在檢索時用戶在后期草圖完整時才能檢索到想要的內容。

綜上所述，現有技術存在技術問題是：在筆畫信息少的時候如何提升檢索效率。

發明內容

本發明為解決上述技術問題，提出了一種融合圖像標簽信息的手繪圖像實時檢索方法，將草圖的樣式融合草圖檢索框架中增加草圖信息，增強草圖檢索的早期檢索效率。用戶在進行早期草圖檢索時，同時使用目標圖像的顏色、特征等信息進行查詢，可以在筆畫信息少的時候大大增加檢索效率。

一種融合圖像標簽信息的手繪圖像實時檢索方法，包括：

向通過訓練集訓練改進的神經網絡模型輸入目標圖像的手繪圖像和標簽信息，實時檢索并獲得檢索結果；

所述訓練改進的神經網絡模型，包括f₁、f₂、f₃、f_ex，其中，f₁為預訓練網絡，f₂為注意力層，f₃為降維層，f_ex為標簽提取層；

改進的神經網絡模型的訓練過程包括以下步驟：

S1：構建訓練集，訓練集包括由多張圖像及其對應收回的完整草圖組成的圖像集和圖像對應的擴充標簽集，圖像對應的擴充標簽集由該圖像所有標簽信息組成；

S2:訓練中每一步選取圖像集中的一張圖像作為目標圖像，利用該圖像對應的手繪草圖，訓練神經網絡模型的f₁、f₂、f₃三個分支，訓練完成后固定f₁、f₂參數，同時訓練完成后通過f₁、f₂、f₃提取所有目標圖像的嵌入向量；