[發(fā)明專利]基于二階目標(biāo)檢測和語義識別的貨車歸屬識別方法

在審

• 申請?zhí)枺?/td>: 202210469746.1
• 申請日: 2022-04-28
• 公開（公告）號: CN114973123A
• 公開（公告）日: 2022-08-30
• 發(fā)明（設(shè)計）人: 張昕;李琦;鐘章平;張婧
• 申請（專利權(quán)）人: 南京信息技術(shù)研究院
• 主分類號: G06V20/52
• 分類號: G06V20/52
• 代理公司: 南京華恒專利代理事務(wù)所(普通合伙) 32335
• 代理人: 宋方園

本發(fā)明公開一種基于二階目標(biāo)檢測和語義識別的貨車歸屬識別方法，通過位置布置高清視頻采集設(shè)備收集貨車圖片，手工標(biāo)注車身貼標(biāo)位置及具有標(biāo)識性的問題，分別用于訓(xùn)練第二階段目標(biāo)檢測模型和語義識別模型。在一階目標(biāo)檢測階段完成貨車位置的確定，二階目標(biāo)檢測階段實現(xiàn)車身貼標(biāo)的位置確定和類型識別，結(jié)合文字識別結(jié)果完成車身貼標(biāo)類型的最終確定，依據(jù)貼標(biāo)類型判定車輛歸屬，給出是否本單位車輛的判別結(jié)果。整體流程由采集端、網(wǎng)絡(luò)模塊及推理端協(xié)作完成，可實現(xiàn)無人監(jiān)測，有效降低了對人工的依賴度。

技術(shù)領(lǐng)域

本發(fā)明涉及車輛設(shè)別技術(shù)，具體涉及一種基于二階目標(biāo)檢測和語義識別的貨車歸屬識別方法。

背景技術(shù)

人工智能給道路交通領(lǐng)域的帶來了巨大變革，基于神經(jīng)網(wǎng)絡(luò)的車型識別、車牌檢測、路標(biāo)識別等技術(shù)已獲得普遍應(yīng)用，無人駕駛等先進技術(shù)也在逐漸走進人們的生活。神經(jīng)網(wǎng)絡(luò)模型的普遍在降低誤判率的同時，大大減少人工勞動，避免了極端環(huán)境給人身早成的威脅。

在無人化設(shè)備普及的浪潮下，推動人工智能技術(shù)向?qū)Ｓ妙I(lǐng)域部署應(yīng)用成為一項重要議題。在過去，對于貨車車輛歸屬的問題需長時間人工監(jiān)測，尤其在夜間、極端天氣等情況下，人為監(jiān)控難度較大。長時間連續(xù)人工監(jiān)測易帶來因疲勞等因素引起的誤判。

而目前，車輛歸屬識別大都以車牌識別技術(shù)為基礎(chǔ)，但是依據(jù)車牌識別結(jié)果進行車輛歸屬識別，需要待識別車牌號碼已存儲在本單位的數(shù)據(jù)中。此外，受到攝像頭拍攝角度限制，車牌號碼并不一定能被捕捉到，會造成識別不及時和不準(zhǔn)確的問題。

發(fā)明內(nèi)容

發(fā)明目的：本發(fā)明的目的在于解決現(xiàn)有技術(shù)中存在的不足，提供一種基于二階目標(biāo)檢測和語義識別的貨車歸屬識別方法，本發(fā)明融合二階目標(biāo)監(jiān)測和文字識別技術(shù)，依據(jù)貨車車身側(cè)面的貼標(biāo)類型自主判斷貨車歸屬。

技術(shù)方案：本發(fā)明的一種基于二階目標(biāo)檢測和語義識別的貨車歸屬識別方法，其特征在于：包括以下步驟：

步驟1：在車輛出入口、貨車停車區(qū)域等位置部署網(wǎng)路攝像頭，并確保網(wǎng)絡(luò)攝像頭正對貨車兩側(cè)，各網(wǎng)絡(luò)攝像頭通過網(wǎng)絡(luò)模塊與監(jiān)控中心的神經(jīng)網(wǎng)絡(luò)推理服務(wù)器連接，神經(jīng)網(wǎng)絡(luò)推理服務(wù)器將推理結(jié)果(包括當(dāng)前的攝像頭圖像，以及其中的車輛位置、車輛歸屬信息等等)推送至網(wǎng)路監(jiān)視器；

此處所述網(wǎng)路模塊包括網(wǎng)線、交換機、路由器等組成的物理網(wǎng)絡(luò)，通過局域網(wǎng)傳輸；所述神經(jīng)網(wǎng)絡(luò)推理服務(wù)器采用并行計算服務(wù)器，該并行計算服務(wù)器內(nèi)設(shè)有NVIDIA計算卡、AI處理器等；

步驟2：通過網(wǎng)絡(luò)攝像頭采集貨車車身兩側(cè)圖片，經(jīng)人工篩選后，手工標(biāo)注車身貼標(biāo)的位置及類型，依據(jù)貼標(biāo)位置裁剪貼標(biāo)圖片，并標(biāo)注貼標(biāo)主要內(nèi)容，按一定比例(例如5:1)制作訓(xùn)練集和測試集；

此處人工篩選刪除車身不是正對攝像頭/車貼不清晰的圖片，其過程包括：通過肉眼觀察，從貨車車身圖片中篩選出包含貼標(biāo)的圖片；手工標(biāo)注時使用labelme開源工具，操作方式為：右鍵-創(chuàng)建矩形-從車貼位置的左上角拉到右下角畫好矩形框-輸入貼車類別-點擊ok完成標(biāo)注，labelme工具會按照矩形的坐標(biāo)、尺寸，以及輸入的標(biāo)簽，自動保存貼標(biāo)位置和類型；

步驟3：利用標(biāo)注車身貼標(biāo)位置的數(shù)據(jù)集來訓(xùn)練二階PP-yolo目標(biāo)檢測模型；使用依據(jù)貼標(biāo)位置裁剪得到的圖片和內(nèi)容標(biāo)注來訓(xùn)練文字識別神經(jīng)網(wǎng)絡(luò)SEED；

步驟4：一階目標(biāo)檢測利用公開的PP-yolo物體識別模型確定貨車位置，二階目標(biāo)檢測在貨車位置內(nèi)使用自訓(xùn)練好的二階PP-yolo目標(biāo)檢測模型檢測貼標(biāo)位置及類型，并使用訓(xùn)練好的文字識別神經(jīng)網(wǎng)絡(luò)SEED識別車標(biāo)內(nèi)容；

按一定比例組合PP-yolo輸出的車標(biāo)類型和SEED文字識別內(nèi)容，確定車身貼標(biāo)類型，進而確定車輛歸屬；

將一階目標(biāo)檢測確定的貨車位置及車輛歸屬表述在實時視頻上，推送至網(wǎng)絡(luò)監(jiān)控器顯示。