[發(fā)明專利]尺度自適應(yīng)感知的目標(biāo)計數(shù)深度網(wǎng)絡(luò)設(shè)計方法

有效

• 申請?zhí)枺?/td>: 201910984593.2
• 申請日: 2019-10-16
• 公開（公告）號: CN110705698B
• 公開（公告）日: 2023-07-25
• 發(fā)明（設(shè)計）人: 成鋒娜;周宏平;張鏡洋;程衛(wèi)國;徐亮
• 申請（專利權(quán)）人: 南京林業(yè)大學(xué)
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06V10/774;G06V10/776;G06N3/0464;G06N3/084;G06N3/048
• 代理公司: 南京眾聯(lián)專利代理有限公司 32206
• 代理人: 杜靜靜

1.一種尺度自適應(yīng)感知的目標(biāo)計數(shù)深度網(wǎng)絡(luò)設(shè)計方法，其特征在于，所述方法包括以下步驟：

步驟1：制作訓(xùn)練和測試樣本集合，將每個圖片的目標(biāo)標(biāo)注生成真實(shí)標(biāo)簽；

步驟2：將訓(xùn)練集和測試集的圖片及其對應(yīng)的真實(shí)標(biāo)簽進(jìn)行尺寸調(diào)整；

步驟3：建立尺度自適應(yīng)感知目標(biāo)計數(shù)深度網(wǎng)絡(luò)模型；

步驟4：將步驟2獲得訓(xùn)練樣本輸入到步驟3建立的卷積網(wǎng)絡(luò)模型中，通過Adam優(yōu)化策略對網(wǎng)絡(luò)進(jìn)行參數(shù)學(xué)習(xí)；

步驟5：深度網(wǎng)絡(luò)模型測試；網(wǎng)絡(luò)經(jīng)步驟4訓(xùn)練完成后，保留網(wǎng)絡(luò)的卷積層的參數(shù)；將測試圖片通過步驟1和步驟2操作后輸入網(wǎng)絡(luò)中，將步驟3中卷積層16的輸出Pre_net求和，記為當(dāng)前圖片的目標(biāo)數(shù)量；

所述步驟1具體如下：

步驟101：通過搜索引擎搜集一個特定目標(biāo)有關(guān)的詞匯搜索目標(biāo)圖片，或自行拍攝N張帶有目標(biāo)的圖片；

步驟102：通過人工方式對步驟101的每張圖片的每個目標(biāo)進(jìn)行標(biāo)注，記錄每個標(biāo)注點(diǎn)的位置，進(jìn)而建立一個特定目標(biāo)相關(guān)數(shù)據(jù)集；

步驟103：首先將步驟102制作的數(shù)據(jù)集分為訓(xùn)練集和測試集；設(shè)數(shù)據(jù)集合總共有N個圖片和與之對應(yīng)的目標(biāo)標(biāo)注，記數(shù)據(jù)集合中的圖片Dateset＝{I₁,I₂,...,I_N}和與之對應(yīng)的目標(biāo)標(biāo)注Labelset＝{l₁,l₂,...,l_N}；將前M個圖片和它對應(yīng)的目標(biāo)標(biāo)注設(shè)為訓(xùn)練集合，記訓(xùn)練圖片為Traindate＝{I₁,I₂,...,I_M}與之對應(yīng)的標(biāo)注Labeltrain＝{l₁,l₂,...,l_M}；同時將后N-M個圖片和它對應(yīng)的目標(biāo)標(biāo)注設(shè)為測試集合；記測試圖片為Testdate＝{I_M+1,I_M+2,...,I_N}與之對應(yīng)的標(biāo)注Labeltest＝{l_M+1,l_M+2,...,l_N}；

步驟104：將步驟103中第i個圖片I_i轉(zhuǎn)換成高斯密度圖den_i(x)，可通過下述的公式進(jìn)行計算：

其中表示給定圖片的坐標(biāo)，x_j表示標(biāo)注的目標(biāo)位置；表示高斯核，其中x_j是均值向量和σ²是方差項(xiàng)；如果x不在x_j的領(lǐng)域范圍內(nèi)，令此時第i個圖片的標(biāo)簽l_i變換為den_i(x)；

步驟105：依次對步驟102中的第1張圖片直至第N個圖片執(zhí)行步驟104的操作，將圖片的標(biāo)注轉(zhuǎn)換成高斯密度圖；從而將訓(xùn)練的標(biāo)注Labeltrain映射為訓(xùn)練真實(shí)標(biāo)簽Labeltrain_new：Labeltrain_new＝{den₁,den₂,...,den_M}，將測試的標(biāo)注Labeltest映射為測試真實(shí)標(biāo)簽Labeltest_new：Labletest_new＝{den_M+1,den_M+2,...,den_N}；

所述步驟2具體如下，

步驟201：將圖片的尺寸調(diào)整為8的整數(shù)倍；記第i個圖片I_i的尺寸大小為(p_i,q_i)；圖片通過插值的方式將尺寸大小調(diào)整為8的整數(shù)倍，記圖片I_i調(diào)整后的尺寸大小(x_i,y_i)；調(diào)整的計算公式為x_i＝(p_i％8)×8和y_i＝(q_i％8)×8，其中％表示整除操作；

步驟202：將與圖片對應(yīng)的高斯密度圖也進(jìn)行尺度調(diào)整；第i個圖片I_i對應(yīng)的真實(shí)標(biāo)簽den_i(m)的尺寸大小為(p_i,q_i)，通過步驟201中的調(diào)整計算公式后得到調(diào)整后真實(shí)標(biāo)簽den_new_i(m)的大小(x_i,y_i)；為了使得目標(biāo)數(shù)量保持不變，對調(diào)整后的真實(shí)標(biāo)簽進(jìn)行如下操作；

步驟203：依次對步驟105中的第1張圖片直至第N個圖片的真實(shí)標(biāo)簽執(zhí)行步驟202的操作；

所述步驟3建立尺度自適應(yīng)感知目標(biāo)計數(shù)深度網(wǎng)絡(luò)模型，網(wǎng)絡(luò)的具體的模型給出如下：

卷積層1：使用64個3×3的卷積核去卷積輸入為x×y×3的圖像，經(jīng)過ReLU激活函數(shù)后得到x×y×64的特征；

卷積層2：使用64個3×3的卷積核去卷積卷積層1的輸出，經(jīng)過ReLU激活函數(shù)和2×2的最大值池化層后得到(x％2)×(y％2)×64的特征；

卷積層3：使用128個3×3的卷積核去卷積卷積層2的輸出，經(jīng)過ReLU激活函數(shù)后得到(x％2)×(y％2)×128的特征；

卷積層4：使用128個3×3的卷積核去卷積卷積層3的輸出，經(jīng)過ReLU激活函數(shù)和2×2的最大值池化層后得到(x％2)×(y％2)×128的特征；

卷積層5：使用256個3×3的卷積核去卷積卷積層4的輸出，經(jīng)過ReLU激活函數(shù)后得到(x％4)×(y％4)×256的特征；

卷積層6：使用256個3×3的卷積核去卷積卷積層5的輸出，經(jīng)過ReLU激活函數(shù)后得到(x％4)×(y％4)×256的特征；

卷積層6_0_1：使用64個1×1的卷積核去卷積卷積層6的輸出，經(jīng)過ReLU激活函數(shù)后得到(x％4)×(y％4)×64的特征；

卷積層6_0_2：使用64個3×3的卷積核去卷積卷積層6_0_1的輸出，經(jīng)過ReLU激活函數(shù)后得到(x％4)×(y％4)×64的特征；

卷積層6_0_3：使用exp(a₁)/(exp(a₁)+exp(a₂)+exp(a₃))乘以卷積層6_0_2的輸出后得到(x％4)×(y％4)×64的特征；

卷積層6_1_1：使用64個1×1的卷積核去卷積卷積層6的輸出，經(jīng)過ReLU激活函數(shù)后得到(x％4)×(y％4)×64的特征；

卷積層6_1_2：使用64個5×5的卷積核(padding的大小為2)去卷積卷積層6_1_1的輸出，經(jīng)過ReLU激活函數(shù)后得到(x％4)×(y％4)×64的特征；

卷積層6_1_3：使用exp(a₂)/(exp(a₁)+exp(a₂)+exp(a₃))乘以卷積層6_1_2的輸出后得到(x％4)×(y％4)×64的特征；

卷積層6_2_1：使用64個1×1的卷積核去卷積卷積層6的輸出，經(jīng)過ReLU激活函數(shù)后得到(x％4)×(y％4)×64的特征；

卷積層6_2_2：使用64個7×7的卷積核(padding的大小為3)去卷積卷積層6_2_1的輸出，經(jīng)過ReLU激活函數(shù)后得到(x％4)×(y％4)×64的特征；

卷積層6_2_3：使用exp(a₃)/(exp(a₁)+exp(a₂)+exp(a₃))乘以卷積層6_2_2的輸出后得到(x％4)×(y％4)×64的特征；

聚集層1：將卷積層6_0_3的輸出、卷積層6_1_3的輸出和卷積層6_2_3的輸出，沿著通道維級聯(lián)，得到(x％4)×(y％4)×192的特征；

卷積層7：使用256個3×3的卷積核去卷積聚集層1的輸出，經(jīng)過ReLU激活函數(shù)層和2×2的最大值池化層后得到(x％8)×(y％8)×256的特征；

卷積層8：使用256個3×3的卷積核去卷積卷積層7的輸出，經(jīng)過ReLU激活函數(shù)后得到(x％8)×(y％8)×256的特征；

卷積層8_0_1：使用64個1×1的卷積核去卷積卷積層8的輸出，經(jīng)過ReLU激活函數(shù)后得到(x％8)×(y％8)×64的特征；

卷積層8_0_2：使用64個3×3的卷積核去卷積卷積層8_0_1的輸出，經(jīng)過ReLU激活函數(shù)后得到(x％8)×(y％8)×64的特征；

卷積層8_0_3：使用exp(b₁)/(exp(b₁)+exp(b₂)+exp(b₃))乘以卷積層8_0_2的輸出后得到(x％8)×(y％8)×64的特征；

卷積層8_1_1：使用64個1×1的卷積核去卷積卷積層8的輸出，經(jīng)過ReLU激活函數(shù)后得到(x％8)×(y％8)×64的特征；

卷積層8_1_2：使用64個5×5的卷積核(padding的大小為2)去卷積卷積層8_1_1的輸出，經(jīng)過ReLU激活函數(shù)后得到(x％8)×(y％8)×64的特征；

卷積層8_1_3：使用exp(b₂)/(exp(b₁)+exp(b₂)+exp(b₃))乘以卷積層8_1_2的輸出后得到(x％8)×(y％8)×64的特征；

卷積層8_2_1：使用64個1×1的卷積核去卷積卷積層8的輸出，經(jīng)過ReLU激活函數(shù)后得到(x％8)×(y％8)×64的特征；

卷積層8_2_2：使用64個7×7的卷積核(padding的大小為3)去卷積卷積層8_2_1的輸出，經(jīng)過ReLU激活函數(shù)后得到(x％8)×(y％8)×64的特征；

卷積層8_2_3：使用exp(b₃)/(exp(b₁)+exp(b₂)+exp(b₃))乘以卷積層8_2_2的輸出后得到(x％8)×(y％8)×64的特征；

聚集層2：將卷積層8_0_3的輸出、卷積層8_1_3的輸出和卷積層8_2_3的輸出，沿著通道維級聯(lián)，得到(x％8)×(y％8)×192的特征；

卷積層9：使用256個3×3的卷積核去卷積聚集層2的輸出，經(jīng)過ReLU激活函數(shù)層和3×1×1的最大值池化層后得到(x％8)×(y％8)×256的特征；

卷積層10：使用256個3×3的卷積核去卷積聚集層2的輸出，經(jīng)過ReLU激活函數(shù)后得到(x％8)×(y％8)×256的特征；

卷積層11：使用256個3×3的卷積核去卷積卷積層10的輸出，經(jīng)過ReLU激活函數(shù)后得到(x％8)×(y％8)×256的特征；

卷積層12：使用256個3×3的卷積核去卷積卷積層11的輸出，經(jīng)過ReLU激活函數(shù)后得到(x％8)×(y％8)×256的特征；

卷積層13：使用256個3×3的卷積核去卷積卷積層12的輸出，經(jīng)過ReLU激活函數(shù)后得到(x％8)×(y％8)×256的特征；

卷積層14：使用256個3×3的卷積核去卷積卷積層13的輸出，經(jīng)過ReLU激活函數(shù)后得到(x％8)×(y％8)×256的特征；

卷積層15：使用256個3×3的卷積核去卷積卷積層14的輸出，經(jīng)過ReLU激活函數(shù)后得到(x％8)×(y％8)×256的特征；

卷積層16：使用1個1×1的卷積核去卷積卷積層15的輸出，得到(x％8)×(y％8)×1的特征。