[發(fā)明專利]一種基于多卷積融合網(wǎng)絡(luò)的目標(biāo)檢測方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110707169.0
• 申請日: 2021-06-25
• 公開（公告）號: CN113255589B
• 公開（公告）日: 2021-10-15
• 發(fā)明（設(shè)計(jì)）人: 陳克鵬
• 申請（專利權(quán)）人: 北京電信易通信息技術(shù)股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京高沃律師事務(wù)所 11569
• 代理人: 杜陽陽

1.一種基于多卷積融合網(wǎng)絡(luò)的目標(biāo)檢測方法，其特征在于，包括：

將通過無人機(jī)攜帶的攝像頭采集的交通樞紐中來往車輛的圖像數(shù)據(jù)作為數(shù)據(jù)集；

構(gòu)建用于圖像目標(biāo)檢測的網(wǎng)絡(luò)結(jié)構(gòu)；

根據(jù)所述數(shù)據(jù)集訓(xùn)練所述用于圖像目標(biāo)檢測的網(wǎng)絡(luò)結(jié)構(gòu)，獲得圖像目標(biāo)檢測模型；

利用所述圖像目標(biāo)檢測模型，對待檢測圖像數(shù)據(jù)進(jìn)行目標(biāo)檢測；

所述用于圖像目標(biāo)檢測的網(wǎng)絡(luò)結(jié)構(gòu)包括：ResNet101網(wǎng)絡(luò)、多卷積融合網(wǎng)絡(luò)、區(qū)域生成網(wǎng)絡(luò)、ROI池化層和檢測頭；

所述ResNet101網(wǎng)絡(luò)包括依次連接的第一卷積模塊、第二卷積模塊、第三卷積模塊、第四卷積模塊和第五卷積模塊；所述多卷積融合網(wǎng)絡(luò)包括第一多卷積融合模塊、第二多卷積融合模塊、第三多卷積融合模塊、第四多卷積融合模塊和第五多卷積融合模塊；

所述第一多卷積融合模塊、所述第二多卷積融合模塊、所述第三多卷積融合模塊、所述第四多卷積融合模塊和所述第五多卷積融合模塊均用于對輸入的圖像進(jìn)行多卷積特征融合；

所述第五卷積模塊的輸出連接所述第五多卷積融合模塊的輸入，所述第四卷積模塊的輸出連接所述第四多卷積融合模塊的輸入，所述第三卷積模塊的輸出連接所述第三多卷積融合模塊的輸入，所述第二卷積模塊的輸出連接所述第二多卷積融合模塊的輸入，所述第一卷積模塊的輸出連接所述第一多卷積融合模塊的輸入；所述第五多卷積融合模塊輸出為第五特征圖，所述第五特征圖通過2倍上采樣與所述第四多卷積融合模塊的輸出按元素相加輸出第四特征圖，所述第四特征圖通過2倍上采樣與所述第三多卷積融合模塊的輸出按元素相加后進(jìn)行3×3卷積操作輸出第三特征圖，所述第三特征圖通過2倍上采樣與所述第二多卷積融合模塊的輸出按元素相加后進(jìn)行3×3卷積操作輸出第二特征圖，所述第二特征圖通過2倍上采樣與所述第一多卷積融合模塊的輸出按元素相加后進(jìn)行3×3卷積操作輸出第一特征圖；所述第一特征圖、所述第二特征圖、所述第三特征圖、所述第四特征圖和所述第五特征圖均輸入所述區(qū)域生成網(wǎng)絡(luò)；所述區(qū)域生成網(wǎng)絡(luò)連接所述ROI池化層，所述ROI池化層連接所述檢測頭，所述檢測頭用于輸出檢測結(jié)果；

所述第一多卷積融合模塊、所述第二多卷積融合模塊、所述第三多卷積融合模塊、所述第四多卷積融合模塊和所述第五多卷積融合模塊結(jié)構(gòu)相同，均包括第一卷積分支、第二卷積分支、第三卷積分支、第四卷積分支、第一SEnet注意力機(jī)制模塊、第二SEnet注意力機(jī)制模塊、第三SEnet注意力機(jī)制模塊、第四SEnet注意力機(jī)制模塊；

所述第一卷積分支包括卷積核為1*1、步長為3、像素填充為0的卷積操作，所述第二卷積分支包括卷積核為3*3、步長為2、像素填充為1的卷積操作，所述第三卷積分支包括卷積核為5*5、步長為2、像素填充為2的卷積操作，所述第四卷積分支包括卷積核為7*7、步長為2、像素填充為3的卷積操作；所述第一卷積分支輸出的特征圖輸入所述第一SEnet注意力機(jī)制模塊，所述第二卷積分支輸出的特征圖輸入所述第二SEnet注意力機(jī)制模塊，所述第三卷積分支輸出的特征圖輸入所述第三SEnet注意力機(jī)制模塊，所述第四卷積分支輸出的特征圖輸入所述第四SEnet注意力機(jī)制模塊；

所述第一SEnet注意力機(jī)制模塊、所述第二SEnet注意力機(jī)制模塊、所述第三SEnet注意力機(jī)制模塊和所述第四SEnet注意力機(jī)制模塊均基于通道維度對輸入的特征圖進(jìn)行全局平均池化，得到尺寸為1×1×512的特征圖，將尺寸為1×1×512的特征圖輸入第一全連接層，所述第一全連接層輸出尺寸為1×1×512/r的特征圖，采用ReLU激活函數(shù)對尺寸為1×1×512/r的特征圖進(jìn)行激活操作，通過第二全連接層將尺寸為1×1×512/r的特征圖擴(kuò)充為1×1×512后再經(jīng)過Sigmoid函數(shù)輸出包含通道注意力信息的特征圖；所述r為設(shè)定值；

所述第一SEnet注意力機(jī)制模塊、所述第二SEnet注意力機(jī)制模塊、所述第三SEnet注意力機(jī)制模塊和所述第四SEnet注意力機(jī)制模塊輸出的四個(gè)包含通道注意力信息的特征圖進(jìn)行元素級的加和操作，獲得特征融合特征圖，對所述特征融合特征圖進(jìn)行卷積核為1*1、步長為1、像素填充為0的卷積操作后輸出。

2.根據(jù)權(quán)利要求1所述的基于多卷積融合網(wǎng)絡(luò)的目標(biāo)檢測方法，其特征在于，所述第一卷積分支、所述第二卷積分支、所述第三卷積分支和所述第四卷積分支輸出的特征的尺寸相同，尺寸均為64×64×512。