[發(fā)明專利]一種聯(lián)合分類損失的雙流有監(jiān)督深度哈希圖像檢索方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110010811.X
• 申請(qǐng)日: 2021-01-06
• 公開（公告）號(hào): CN112766458A
• 公開（公告）日: 2021-05-07
• 發(fā)明（設(shè)計(jì)）人: 劉悅
• 申請(qǐng)（專利權(quán)）人: 南京瑞易智能科技有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08;G06K9/62;G06F16/53
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種聯(lián)合分類損失的雙流有監(jiān)督深度哈希圖像檢索方法，其特征在于，包括以下步驟：

步驟1、選取圖像訓(xùn)練集以及對(duì)應(yīng)的圖像標(biāo)簽，并進(jìn)行歸一化處理；

步驟2、設(shè)計(jì)雙流深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；

步驟3、設(shè)計(jì)三元組損失函數(shù)、分類損失函數(shù)和量化損失函數(shù)；

步驟4、設(shè)置網(wǎng)絡(luò)的學(xué)習(xí)率和每次處理數(shù)據(jù)的數(shù)量來訓(xùn)練網(wǎng)絡(luò)。

2.根據(jù)權(quán)利要求1所述的聯(lián)合分類損失的雙流有監(jiān)督深度哈希圖像檢索方法，其特征在于，步驟1所述的選取圖像訓(xùn)練集以及對(duì)應(yīng)的圖像標(biāo)簽，并進(jìn)行歸一化處理，具體為：訓(xùn)練集從檢索庫中選取一部分圖像，將訓(xùn)練集中的圖像歸一化為224×224的像素大小。

3.根據(jù)權(quán)利要求1所述的聯(lián)合分類損失的雙流有監(jiān)督深度哈希圖像檢索方法，其特征在于，步驟2所述設(shè)計(jì)雙流深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，具體為：

第一流神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)為：

網(wǎng)絡(luò)輸入的是224×224×3的彩色圖像，

第一組由第一卷積層(Conv1_1)和第一最大池化層(Pool1)組成，卷積核的大小為11×11，設(shè)置步長為4，池化步長設(shè)置為2；

第二組由第二卷積層(Conv2_1)和第二最大池化層(Pool2)組成，卷積核的大小為5×5，設(shè)置步長為1，池化步長設(shè)置為2；

第三組由第三卷積層(Conv3_1)組成，卷積核的大小為3×3；

第四組由第四卷積層(Conv4_1)組成，卷積核的大小為3×3；

第五組由第五卷積層(Conv5_1)和第三最大池化層(Pool3)組成，卷積核的大小為3×3，池化步長設(shè)置為2；

第六組為一個(gè)空間注意力機(jī)制網(wǎng)絡(luò)，連接第五組第三最大池化層(Pool3)的神經(jīng)元，維度是C×H×W，將這個(gè)神經(jīng)元通過二維卷積得到相應(yīng)的特征圖B、C、D，再重塑成C×H×W，將重塑后的B轉(zhuǎn)置與重塑后的C相乘，再通過softmax函數(shù)得到空間注意力圖，最終再與第五組第三最大池化層(Pool3)的神經(jīng)元相加再乘以變化因子得到最后的輸出(Conv6_1)，

第七組為第一個(gè)完全連接層(Fc7)，連接第六組中的輸出(Conv6_1)，輸出數(shù)量為4096；

第八組為第二個(gè)完全連接層(Fc8)，連接第一個(gè)完全連接層(Fc7)的神經(jīng)元，輸出數(shù)量為4096；

第二流神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)為：

網(wǎng)絡(luò)輸入的是224×224×3的彩色圖像，

第一組由第一卷積層(Conv1_1)和第一最大池化層(Pool1)組成，卷積核的大小為11×11，設(shè)置步長為4，池化步長設(shè)置為2；

第二組由第二卷積層(Conv2_1)和第二最大池化層(Pool2)組成，卷積核的大小為5×5，設(shè)置步長為1，池化步長設(shè)置為2；

第三組由第三卷積層(Conv3_1)組成，卷積核的大小為3×3；

第四組由第四卷積層(Conv4_1)組成，卷積核的大小為3×3；

第五組由第五卷積層(Conv5_1)和第三最大池化層(Pool3)組成，卷積核的大小為3×3，池化步長設(shè)置為2；

第六組為一個(gè)通道注意力機(jī)制網(wǎng)絡(luò)，連接第五組第三最大池化層(Pool3)的神經(jīng)元，維度是C×H×W，對(duì)這個(gè)神經(jīng)元做重塑和重塑與轉(zhuǎn)置，將它們相乘再通過softmax函數(shù)得到通道注意力圖，最終再與第五組第三最大池化層(Pool3)的神經(jīng)元做乘積再乘以變化因子，得到最后的輸出(Conv6_1)，

第七組為第一個(gè)完全連接層(Fc7)，連接第六組中的輸出(Conv6_1)，輸出數(shù)量為4096；

第八組為第二個(gè)完全連接層(Fc8)，連接第一個(gè)完全連接層(Fc7)的神經(jīng)元，輸出數(shù)量為4096；

整個(gè)網(wǎng)絡(luò)：

輸入為第一流和第二流的網(wǎng)絡(luò)的第八組輸出相加，為一個(gè)完全連接層(Fc8_2)，輸出數(shù)量為4096

第一組為第一個(gè)完全連接層(Fc1)，輸出數(shù)量為n，n是哈希碼的數(shù)量；

第二組為第二個(gè)完全連接層(Fc2)，連接第一個(gè)完全連接層(Fc1)的神經(jīng)元，輸出數(shù)量為c，c為圖像的分類個(gè)數(shù)。