[發(fā)明專利]一種基于深度學(xué)習(xí)的廂式貨車廂門狀態(tài)識(shí)別裝置與系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010518732.5
• 申請(qǐng)日: 2020-06-09
• 公開(kāi)（公告）號(hào): CN111723708A
• 公開(kāi)（公告）日: 2020-09-29
• 發(fā)明（設(shè)計(jì)）人: 鄒細(xì)勇;黃昌清;花江峰
• 申請(qǐng)（專利權(quán)）人: 杭州古德微機(jī)器人有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/20;G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種基于深度學(xué)習(xí)的廂式貨車廂門狀態(tài)識(shí)別裝置，其包括識(shí)別控制器、用戶接口單元、聲光單元、距離傳感單元、圖像采集單元和通信接口，

根據(jù)距離傳感單元對(duì)車輛的檢測(cè)，圖像采集單元被觸發(fā)后對(duì)車輛進(jìn)行多角度圖像采集，

識(shí)別控制器又包括輸入模塊、主處理模塊、圖像預(yù)處理模塊、圖像識(shí)別模塊、圖像融合模塊、存儲(chǔ)模塊和輸出模塊，且識(shí)別控制器被配置為：

在圖像識(shí)別模塊中建立基于yolo-v3-tiny改進(jìn)網(wǎng)絡(luò)的貨車廂門狀態(tài)識(shí)別的網(wǎng)絡(luò)模型，

所述網(wǎng)絡(luò)在原第8層前依次增加卷積核大小為3×3、1×1的兩層卷積層，且所述兩層卷積層的濾波器個(gè)數(shù)分別為256、128個(gè)；并在兩個(gè)yolo層之前增加一個(gè)共同的共享層，所述共享層將兩個(gè)yolo層的原輸入特征圖中各類別輸出值經(jīng)加權(quán)平均后作為兩個(gè)yolo層的輸入，

以位于車輛側(cè)后方的側(cè)后相機(jī)、位于運(yùn)輸通道上方的俯視相機(jī)及側(cè)向的側(cè)視相機(jī)所采集的三幅圖片融合為一幅樣本圖片，對(duì)所述樣本圖片進(jìn)行廂門狀態(tài)標(biāo)注后形成訓(xùn)練數(shù)據(jù)集，

以所述數(shù)據(jù)集對(duì)所述網(wǎng)絡(luò)模型進(jìn)行離線訓(xùn)練，獲得貨車廂門狀態(tài)識(shí)別模型，

在線運(yùn)行時(shí)，所述圖像融合模塊將側(cè)后相機(jī)、俯視相機(jī)及側(cè)視相機(jī)所采集車輛三幅圖片融合成待測(cè)圖片后輸入到圖像識(shí)別模塊，

所述圖像識(shí)別模塊基于所述貨車廂門狀態(tài)識(shí)別模型對(duì)所述待測(cè)圖片進(jìn)行處理后獲得貨車廂門狀態(tài)信息，并通過(guò)輸出模塊將所述信息輸出。

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的廂式貨車廂門狀態(tài)識(shí)別裝置，其特征在于，所述主處理模塊還根據(jù)距離傳感單元的觸發(fā)時(shí)間差計(jì)算貨車行駛速度V，當(dāng)所述速度V大于設(shè)定值且所述廂門狀態(tài)為開(kāi)時(shí)，通過(guò)輸出模塊向車載告警器及聲光單元發(fā)出告警信號(hào)，和/或向道閘控制器發(fā)出落閘指令。

3.根據(jù)權(quán)利要求2所述的一種基于深度學(xué)習(xí)的廂式貨車廂門狀態(tài)識(shí)別裝置，其特征在于，所述識(shí)別控制器還被配置為，

記錄車輛被所述第一、第二檢測(cè)模塊檢測(cè)到的時(shí)間的間隔為△t1，車輛離開(kāi)所述第一、第二檢測(cè)模塊的時(shí)間的間隔為△t2，則所述速度V的計(jì)算式為：

其中，L為所述第一、第二檢測(cè)模塊之間的距離。

4.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的廂式貨車廂門狀態(tài)識(shí)別裝置，其特征在于，所述廂門狀態(tài)標(biāo)注包括門閉、門開(kāi)兩個(gè)類別輸出，所述樣本圖片及待測(cè)圖片中，所述三幅圖片按倒品字形或品字形方式融合為一幅樣本圖片且側(cè)視圖片占圖片約一半的空間，所述側(cè)后相機(jī)采集圖像時(shí)光軸與貨廂后端面的夾角取值為15～45度。

5.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的廂式貨車廂門狀態(tài)識(shí)別裝置，其特征在于，所述廂門狀態(tài)標(biāo)注包括左右?guī)T各自的開(kāi)閉狀態(tài)共四個(gè)類別輸出，所述樣本圖片及待測(cè)圖片中，所述三幅圖片按倒品字形或品字形方式融合為一幅樣本圖片且側(cè)視圖片占圖片約一半的空間，所述側(cè)后相機(jī)采集圖像時(shí)光軸與貨廂后端面的夾角取值為15～45度。

6.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的廂式貨車廂門狀態(tài)識(shí)別裝置，其特征在于，所述圖像采集單元包括位于通道側(cè)前方用于拍攝車牌區(qū)域圖像的車牌相機(jī)，其被用來(lái)獲取車牌圖像，

所述訓(xùn)練數(shù)據(jù)集中還包括標(biāo)注了車牌框的所述車牌圖像樣本，在線運(yùn)行時(shí)，經(jīng)離線訓(xùn)練的所述網(wǎng)絡(luò)模型對(duì)所采集的車牌圖像進(jìn)行識(shí)別，獲得車牌區(qū)域錨框，

所述車牌檢測(cè)模塊首先根據(jù)所述錨框區(qū)域內(nèi)可能出現(xiàn)的字符分析構(gòu)建字符的二值化特征模板庫(kù)；然后，針對(duì)所述錨框區(qū)域，檢測(cè)分離出單個(gè)字符，對(duì)每個(gè)字符進(jìn)行特征提取后進(jìn)行模板匹配，再對(duì)詞組進(jìn)行辨識(shí)，獲取車牌號(hào)。