[發(fā)明專利]一種基于圖像深度學(xué)習(xí)系統(tǒng)的貨運(yùn)車輛狀態(tài)實(shí)時(shí)識別方法

在審

• 申請?zhí)枺?/td>: 202011161085.3
• 申請日: 2020-10-27
• 公開（公告）號: CN112329569A
• 公開（公告）日: 2021-02-05
• 發(fā)明（設(shè)計(jì)）人: 賀宜;曹博;高嵩;彭理群;張凡;余緒金;陳旻瑞;陶妍;孫曉亮;許俊;張紀(jì)升;趙麗
• 申請（專利權(quán)）人: 武漢理工大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/34;G06K9/38;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 許蓮英

1.一種基于圖像深度學(xué)習(xí)系統(tǒng)的貨運(yùn)車輛狀態(tài)實(shí)時(shí)識別方法，其特征在于：

所述的圖像深度學(xué)習(xí)系統(tǒng)包括：道路監(jiān)控?cái)z像頭、計(jì)算處理主機(jī)、顯示屏；

所述的道路監(jiān)控?cái)z像頭、計(jì)算處理主機(jī)、顯示屏依次連接；

所述道路監(jiān)控?cái)z像頭用于采集貨運(yùn)車輛的初始圖像，并傳輸至所述計(jì)算處理主機(jī)；

所述計(jì)算處理主機(jī)，用于對貨運(yùn)車輛的初始圖像進(jìn)行貨運(yùn)車輛狀態(tài)識別，得到貨運(yùn)車輛的預(yù)測矩形邊框以及貨運(yùn)車輛的預(yù)測矩形邊框中對應(yīng)的貨運(yùn)車輛狀態(tài)；

所述顯示屏用于顯示貨運(yùn)車輛的預(yù)測矩形邊框以及貨運(yùn)車輛的預(yù)測矩形邊框中對應(yīng)的貨運(yùn)車輛狀態(tài)；

所述貨運(yùn)車輛狀態(tài)實(shí)時(shí)識別方法包括以下步驟：

步驟1：引入貨運(yùn)車輛的圖像數(shù)據(jù)集，人工標(biāo)注貨運(yùn)車輛的圖像數(shù)據(jù)集中貨車外接矩形邊框，并進(jìn)一步人工標(biāo)記貨車狀態(tài)，構(gòu)建深度學(xué)習(xí)模型訓(xùn)練集；

步驟2：引入YOLOv3深度學(xué)習(xí)網(wǎng)絡(luò)，構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)損失函數(shù)模型，將深度學(xué)習(xí)模型圖像訓(xùn)練集輸入到Y(jié)OLOv3深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行優(yōu)化訓(xùn)練，得到訓(xùn)練后YOLOv3深度學(xué)習(xí)網(wǎng)絡(luò)；

步驟3：通過道路監(jiān)控?cái)z像頭實(shí)時(shí)采集初始圖像并傳輸至計(jì)算處理主機(jī)；

步驟4：將初始圖像通過混合高斯模型提取背景圖像，將初始圖像進(jìn)行灰度化得到灰度圖像，將灰度圖像與背景圖像作差得到前景圖像；

步驟5：對前景圖像作數(shù)字圖像處理，提取前景圖像中運(yùn)動(dòng)目標(biāo)區(qū)域像素點(diǎn)的外接矩形，根據(jù)前景圖像中運(yùn)動(dòng)目標(biāo)區(qū)域像素點(diǎn)的外接矩形，將前景圖像中運(yùn)動(dòng)目標(biāo)區(qū)域像素點(diǎn)的外接矩形外的像素信息置零以構(gòu)建識別圖像；

步驟6：將識別圖像通過訓(xùn)練后YOLOv3深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行預(yù)測，得到識別圖像中貨運(yùn)車輛的預(yù)測矩形邊框以及貨運(yùn)車輛的預(yù)測矩形邊框中對應(yīng)的貨運(yùn)車輛狀態(tài)，將識別圖像中貨運(yùn)車輛的預(yù)測矩形邊框以及貨運(yùn)車輛的預(yù)測矩形邊框中對應(yīng)的貨運(yùn)車輛狀態(tài)通過顯示屏輸出顯示。

2.根據(jù)權(quán)利要求1所述的基于圖像深度學(xué)習(xí)系統(tǒng)的貨運(yùn)車輛狀態(tài)實(shí)時(shí)識別方法，其特征在于，包括以下步驟：

步驟1所述貨運(yùn)車輛的圖像訓(xùn)練集為：

{data_k(x，y)，k∈[1，K]，x∈[1，X]，y∈[1，Y]}

其中，data_k(x，y)表示貨運(yùn)車輛的圖像訓(xùn)練集中第k幅貨運(yùn)車輛圖像第x行第y列像素信息，K表示貨運(yùn)車輛的圖像訓(xùn)練集中圖像的數(shù)量，X為貨運(yùn)車輛的圖像訓(xùn)練集中貨運(yùn)車輛圖像的行數(shù)，Y為貨運(yùn)車輛的圖像訓(xùn)練集中貨運(yùn)車輛圖像的列數(shù)；

步驟1所述貨運(yùn)車輛圖像訓(xùn)練集中貨車外接矩形邊框坐標(biāo)為：

其中，表示貨運(yùn)車輛圖像訓(xùn)練集中第k幅貨運(yùn)車輛圖像中第n個(gè)貨車外接矩形邊框左上角坐標(biāo)，表示貨運(yùn)車輛圖像訓(xùn)練集中第k幅貨運(yùn)車輛圖像中第n個(gè)貨車外接矩形邊框的左上角橫坐標(biāo)，表示貨運(yùn)車輛圖像訓(xùn)練集中第k幅貨運(yùn)車輛圖像中第n個(gè)貨車外接矩形邊框的左上角縱坐標(biāo)；表示貨運(yùn)車輛圖像訓(xùn)練集中第k幅貨運(yùn)車輛圖像中第n個(gè)貨車外接矩形邊框右下角坐標(biāo)，表示貨運(yùn)車輛圖像訓(xùn)練集中第k幅貨運(yùn)車輛圖像中第n個(gè)貨車外接矩形邊框的右下角橫坐標(biāo)，表示貨運(yùn)車輛圖像訓(xùn)練集中第k幅貨運(yùn)車輛圖像中第n個(gè)貨車外接矩形邊框的右下角縱坐標(biāo)；N_k表示貨運(yùn)車輛圖像訓(xùn)練集中第k幅貨運(yùn)車輛圖像中貨運(yùn)車輛目標(biāo)的數(shù)量即貨車外接矩形邊框的數(shù)量；

步驟1所述貨運(yùn)車輛圖像訓(xùn)練集中貨車狀態(tài)為：

type_s，s∈[1，4]

其中，type₁表示貨車空箱，type₂表示貨車封箱，type₃表示貨車載貨，type₄表示貨車不完整；

步驟1所述深度學(xué)習(xí)模型圖像訓(xùn)練集為：

其中，data_k(x，y)表示貨運(yùn)車輛的圖像訓(xùn)練集中第k幅貨運(yùn)車輛圖像第x行第y列像素信息，type_k，n，s表示貨運(yùn)車輛的圖像訓(xùn)練集中第k幅貨運(yùn)車輛圖像第n個(gè)貨車外接矩形邊框中貨車第s個(gè)狀態(tài)類型；

表示貨運(yùn)車輛的圖像訓(xùn)練集中第k幅貨運(yùn)車輛圖像第n個(gè)貨車外接矩形邊框中矩形邊框左上橫坐標(biāo)，表示貨運(yùn)車輛的圖像訓(xùn)練集中第k幅貨運(yùn)車輛圖像第n個(gè)貨車外接矩形邊框中矩形邊框左上角縱坐標(biāo)，表示貨運(yùn)車輛的圖像訓(xùn)練集中第k幅貨運(yùn)車輛圖像第n個(gè)貨車外接矩形邊框中矩形邊框右下角橫坐標(biāo)，表示貨運(yùn)車輛的圖像訓(xùn)練集中第k幅貨運(yùn)車輛圖像第n個(gè)貨車外接矩形邊框中矩形邊框右下角縱坐標(biāo)，type_k，n，s表示貨運(yùn)車輛的圖像訓(xùn)練集中第k幅貨運(yùn)車輛圖像第n個(gè)貨車外接矩形邊框中貨車第s個(gè)狀態(tài)類型。