[發(fā)明專利]集裝箱鉛封識(shí)別方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110382063.8
• 申請(qǐng)日: 2021-04-09
• 公開（公告）號(hào): CN113076889B
• 公開（公告）日: 2023-06-30
• 發(fā)明（設(shè)計(jì)）人: 譚黎敏;蔡文揚(yáng);李金濤
• 申請(qǐng)（專利權(quán)）人: 上海西井信息科技有限公司
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V10/764;G06V10/82;G06V10/80;G06N3/0464;G06N3/082;G06N3/084;G06N3/048
• 代理公司: 上海隆天律師事務(wù)所 31282
• 代理人: 徐莉;鐘宗

1.一種集裝箱鉛封識(shí)別方法，其特征在于，包括步驟：

采集集裝箱的視頻；

自所述視頻中抽取圖像，將所述圖像輸入經(jīng)過(guò)訓(xùn)練的第一卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行鉛封識(shí)別，至少獲得所述圖像中鉛封所在的局部圖像區(qū)域作為目標(biāo)圖像；

將所述目標(biāo)圖像輸入經(jīng)過(guò)訓(xùn)練的第二卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行鉛封識(shí)別，至少獲得所述鉛封的類別和置信度；

根據(jù)所述視頻中多張圖像對(duì)應(yīng)的鉛封的類別和置信度，進(jìn)行加權(quán)計(jì)算，獲得所述集裝箱的鉛封類別；

其中，所述第一卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，以第一類圖片為訓(xùn)練樣本，至少以所述第一類圖片中鉛封所在的局部圖像區(qū)域?yàn)槟繕?biāo)輸出，所述第一類圖片為帶有各類鉛封的集裝箱的圖片；

所述第二卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，以第二類圖片為訓(xùn)練樣本，以所述第二類圖片中鉛封所在的局部圖像區(qū)域、鉛封的類別及置信度為目標(biāo)輸出，所述第二類圖片為各類鉛封的圖片，且所述第二類圖片自所述第一類圖片中截取獲得；以及

在加權(quán)計(jì)算中，一圖像的權(quán)重隨所述圖像中鉛封所在的局部圖像區(qū)域在所述圖像中的畫面占比正向增長(zhǎng)。

2.如權(quán)利要求1所述的集裝箱鉛封識(shí)別方法，其特征在于，所述第一卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)包括：

相連的兩組卷積模塊，每組卷積模塊中的每個(gè)卷積模塊包括基于空洞卷積構(gòu)建的特征提取層和下采樣層；

第一檢測(cè)層，與兩組所述卷積模塊的后一組卷積模塊連接；

第二檢測(cè)層，通過(guò)特征融合層，分別與兩組所述卷積模塊的前一組卷積模塊和所述后一組卷積模塊連接。

3.如權(quán)利要求2所述的集裝箱鉛封識(shí)別方法，其特征在于，所述第一卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別過(guò)程包括：

通過(guò)所述前一組卷積模塊，對(duì)所述圖像進(jìn)行預(yù)設(shè)次數(shù)的循環(huán)卷積，獲得第一特征圖；

通過(guò)所述后一組卷積模塊，對(duì)所述第一特征圖進(jìn)行卷積，獲得第二特征圖；

通過(guò)所述第一檢測(cè)層，對(duì)所述第二特征圖進(jìn)行鉛封識(shí)別，獲得對(duì)應(yīng)鉛封所在的局部圖像區(qū)域的至少一檢測(cè)框；

通過(guò)所述特征融合層，對(duì)所述第一特征圖和反卷積上采樣后的所述第二特征圖進(jìn)行特征融合，獲得第三特征圖；

通過(guò)所述第二檢測(cè)層，對(duì)所述第三特征圖進(jìn)行鉛封識(shí)別，獲得對(duì)應(yīng)鉛封所在的局部圖像區(qū)域的至少一檢測(cè)框；

基于非極大值抑制自多個(gè)檢測(cè)框中篩選出目標(biāo)檢測(cè)框，作為所述局部圖像區(qū)域輸出。

4.如權(quán)利要求3所述的集裝箱鉛封識(shí)別方法，其特征在于，所述第一卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程包括：

獲得包含多張第一類圖片的訓(xùn)練樣本，對(duì)所述第一類圖片中鉛封所在的局部圖像區(qū)域進(jìn)行標(biāo)注，獲得所述第一類圖片的鉛封框的寬高和類別；

通過(guò)聚類算法對(duì)所述訓(xùn)練樣本的鉛封框的寬高進(jìn)行聚類，獲得聚類所得的每一類寬高的平均寬高，形成聚類所得的多個(gè)先驗(yàn)框；

通過(guò)兩組所述卷積模塊和所述特征融合層，分別獲得每張所述第一類圖片的第一樣本特征圖和第三樣本特征圖；

在每張所述第一類圖片的第一樣本特征圖和第三樣本特征圖中，分別像素級(jí)插入所述先驗(yàn)框，選取與所述第一類圖片的鉛封框的匹配度最高的先驗(yàn)框，分別作為所述第一檢測(cè)層和所述第二檢測(cè)層的識(shí)別目標(biāo)。

5.如權(quán)利要求4所述的集裝箱鉛封識(shí)別方法，其特征在于，所述訓(xùn)練過(guò)程中，還篩選出與每張所述第一類圖片的鉛封框的匹配度均小于匹配度閾值的先驗(yàn)框，作為負(fù)樣本進(jìn)行損失計(jì)算，并基于梯度下降進(jìn)行優(yōu)化。