[發明專利]一種基于自編碼器和tSNE降維的圖片檢索方法

在審

• 申請號: 201910932207.5
• 申請日: 2019-09-29
• 公開（公告）號: CN110851642A
• 公開（公告）日: 2020-02-28
• 發明（設計）人: 申富饒;趙加成;于僡;趙健
• 申請（專利權）人: 南京大學;南京意智趣電子科技有限公司
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06K9/46;G06K9/62
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 胡建華;于瀚文

1.一種基于自編碼器和tSNE降維的圖片檢索方法，其特征在于，包括如下步驟：

步驟1：使用ImageNet數據集生成訓練集和驗證集，驗證集數據構成數據庫的圖片；

步驟2：使用步驟1生成的訓練集和驗證集訓練自編碼器神經網絡；

步驟3：讀入待檢索的圖片數據；

步驟4：將待檢索的圖片數據輸入到自編碼器神經網絡當中，并進行前向傳播；

步驟5：取出網絡中間層的結果，即作為圖片的特征數據；

步驟6：構建檢索數據庫；

步驟7：取出檢索數據庫中所有的圖片特征；

步驟8：將檢索數據庫中所有的圖片特征與待檢索圖片的圖片特征經過tSNE降維之后進行一一比對，計算它們之間的余弦相似度；

步驟9：根據步驟8中得到的余弦相似度，取出具有最大余弦相似度的數據庫中的圖片，作為待檢索圖片最相似的圖片返回。

2.根據權利要求1所述的方法，其特征在于，步驟1包括如下步驟：

步驟1-1：下載得到ImageNet數據集，按照官方劃分得到訓練集和驗證集，使用驗證集數據構成數據庫中的圖片；

步驟1-2：采用除以255的方式將訓練集和驗證集的圖像數據歸一化到[0,1]之間。

3.根據權利要求2所述的方法，其特征在于，步驟2包括如下步驟：

步驟2-1：將訓練集中的數據按照每一訓練批次數量為128的設置，每一輪遍歷訓練完所有訓練集的圖片；

步驟2-2：將每一訓練批次對應的輸出結果作為自編碼器神經網絡的輸入，送入到自編碼器神經網絡中執行網絡的訓練，得到自編碼器神經網絡的輸出y_i^p；

步驟2-3：計算輸出y_i^p與期望輸出的L2loss，L2loss表示預測值與真實值的均方誤差，并通過反向傳播算法更新自編碼器神經網絡的參數，其中，每一組訓練數據的L2loss計算公式為：

其中，MSE代表均方誤差，即預測值跟實際值差的平方的均數，y_i表示第i個數據的期望輸出，y_i^p代表第i個數據對應的網絡輸出；

步驟2-4：循環步驟2-1至步驟2-3，訓練n₁輪次，直至訓練集中的數據均訓練完成。

4.根據權利要求3所述的方法，其特征在于，步驟3中，讀入得到待檢索的圖片數據I是RGB三通道圖片。

5.根據權利要求4所述的方法，其特征在于，步驟4包含如下步驟：

步驟4-1：通過除以255的方法，將待檢索的圖片數據進行歸一化操作；

步驟4-2：將步驟4-1歸一化的數據傳入到自編碼器神經網絡中，執行前向傳播。

6.根據權利要求5所述的方法，其特征在于，步驟5中，根據自編碼器神經網絡前向傳播得到的結果，取出網絡中間層的結果，作為自編碼器神經網絡提取得到的圖片特征，即作為圖片的特征數據。

7.根據權利要求6所述的方法，其特征在于，步驟6中，將驗證集構成的數據庫中所有圖片均輸入到自編碼器神經網絡當中，并進行前向傳播，得到它們的圖片特征，保存到數據庫中，構成檢索數據庫。

8.根據權利要求7所述的方法，其特征在于，步驟7包括：將檢索數據庫中所有圖片特征全部取出。