[發明專利]基于可變形卷積與深度網絡的手繪草圖檢索方法

有效

• 申請號: 201811222402.0
• 申請日: 2018-10-19
• 公開（公告）號: CN109299303B
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 劉玉杰;王文超;于鄧;李冠林
• 申請（專利權）人: 中國石油大學（華東）
• 主分類號: G06F16/53
• 分類號: G06F16/53;G06V10/44;G06V10/764;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于可變形卷積與深度網絡的手繪草圖檢索方法，其特征在于，包括以下步驟：

s1、獲取待檢索的手繪圖像和數據庫中的自然圖像；

s2、通過邊緣檢測算法對自然圖像進行邊緣檢測得到類手繪圖，即邊緣圖；

s3、通過形態學操作分別對手繪草圖和邊緣圖進行預處理；

s4、訓練基于可變形卷積的深度網絡，進一步包括：

s41、采用在ImageNet數據集上訓練好的VGG19網絡為基本網絡結構，該網絡共包含5個block，將每個block的第一個卷積層，即conv1_1、conv2_1、conv3_1、conv4_1、conv5_1卷積層由原來的標準卷積修改為可變形卷積，即在每層之外并行連接一個額外卷積層學習可變形卷積核的偏移量參數； 修改后的可變形卷積層與原卷積層采用尺寸相同的卷積核，即3x3卷積核；

s42、使用在ImageNet上訓練得到的權重初始化神經網絡，其中用于學習可變形卷積偏移量參數的卷積層權重初始化為零，損失函數采用交叉熵損失函數，使用手繪草圖與自然圖像邊緣圖訓練網絡直至收斂；

s5、利用訓練后的深度網絡分別提取手繪圖像和邊緣圖的深度特征；

s6、對提取到的手繪草圖特征和邊緣圖特征進行相似度計算并得到檢索結果。

2.根據權利要求1所述的基于可變形卷積與深度網絡的手繪草圖檢索方法，其特征在于，所述步驟s1中，采用的手繪圖像和自然圖片來自于公開數據集Flickr15k，該數據集是用于手繪草圖檢索的權威數據集，包含330張由非專業的繪圖人員所繪制的手繪草圖，以及14490張彩色自然圖片。

3.根據權利要求1所述的基于可變形卷積與深度網絡的手繪草圖檢索方法，其特征在于，所述步驟s2中，通過邊緣檢測算法，例如Berkeley邊緣檢測算法將自然彩圖轉換為邊緣圖，即類手繪圖。

4.根據權利要求1所述的基于可變形卷積與深度網絡的手繪草圖檢索方法，其特征在于，所述步驟s3中，通過圖像處理中的形態學操作對手繪圖與邊緣圖進行預處理以減少噪聲干擾，進一步包括：

s31、通過膨脹操作對手繪草圖進行處理，凸顯線條輪廓，增強手繪草圖的結構性；

s32、通過腐蝕操作對自然圖像的邊緣圖進行處理，消除在邊緣檢測過程中殘存在背景區域的孤立點。

5.根據權利要求1所述的基于可變形卷積與深度網絡的手繪草圖檢索方法，其特征在于，所述步驟s5中，修改步驟s4訓練好的神經網絡結構并用其分別提取手繪草圖與自然圖像邊緣圖的深度特征，進一步包括：

s51、去掉s4中訓練得到的深度神經網絡最后的幾個全連接層，即fc1，fc2以及最后的Softmax分類層，并添加一層全局最大池化層，從而得到一個新的特征提取網絡；

s52、以s4中訓練得到的網絡權重初始化步驟s51中修改得到的特征提取網絡，分別將手繪草圖與自然圖像邊緣圖輸入特征提取網絡，以網絡最后全局最大池化層的輸出作為特征向量，該特征向量為512維。

6.根據權利要求1所述的基于可變形卷積與深度網絡的手繪草圖檢索方法，其特征在于，所述步驟s6中，對于給定手繪圖像，通過計算手繪圖像特征向量和自然圖片特征向量之間的相關系數來表示二者之間的相似度，相關系數越大表示越相似，按相似度排序得到最終的檢索結果。