[發(fā)明專利]一種貨車圖像自動(dòng)識(shí)別方法及識(shí)別系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110614695.2
• 申請(qǐng)日: 2021-06-02
• 公開（公告）號(hào): CN113221839B
• 公開（公告）日: 2022-02-01
• 發(fā)明（設(shè)計(jì)）人: 高恩穎;韓旭
• 申請(qǐng)（專利權(quán)）人: 哈爾濱市科佳通用機(jī)電股份有限公司
• 主分類號(hào): G06V20/20
• 分類號(hào): G06V20/20;G06N3/04;G06N3/08;G06T3/40
• 代理公司: 哈爾濱市松花江專利商標(biāo)事務(wù)所 23109
• 代理人: 時(shí)起磊

一種貨車圖像自動(dòng)識(shí)別方法及識(shí)別系統(tǒng)，本發(fā)明涉及貨車圖像自動(dòng)識(shí)別方法及識(shí)別系統(tǒng)。本發(fā)明的目的是為解決現(xiàn)有現(xiàn)有的自動(dòng)識(shí)別方法存在部件的定位和識(shí)別準(zhǔn)確率低，以及硬件成本高的問題。一、獲取線陣圖像，對(duì)線陣圖像中相同工位進(jìn)行拼接，獲得每種工位的拼接圖像；將所有工位的拼接圖像進(jìn)行拼接，恢復(fù)成連續(xù)圖像；將連續(xù)圖像按固定寬度，切分為多個(gè)小圖像；二、得到訓(xùn)練好的定位網(wǎng)絡(luò)模型；三、將待測(cè)貨車圖像輸入訓(xùn)練好的定位網(wǎng)絡(luò)模型，輸出待測(cè)圖像中各部件的類別、位置和各部件的分割結(jié)果，得到待測(cè)圖像中各部件的子圖；四、對(duì)待測(cè)圖像中各部件的子圖進(jìn)行貨車故障識(shí)別，獲得識(shí)別結(jié)果。本發(fā)明屬于故障圖像識(shí)別領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明屬于故障圖像識(shí)別領(lǐng)域，具體涉及基于貨車圖像自動(dòng)識(shí)別方法及識(shí)別系統(tǒng)。

背景技術(shù)

傳統(tǒng)的人工檢車方式，是按工位通過人工檢查圖像的方式進(jìn)行故障檢測(cè)。隨著鐵路貨車運(yùn)量的不斷增加，為保證列檢時(shí)間，需要大量檢車人員，勞動(dòng)強(qiáng)度極高。并且檢車人員每天需要面對(duì)海量圖像，容易產(chǎn)生疲勞漏檢，誤檢，危及行車安全。

而現(xiàn)有的自動(dòng)識(shí)別方法存在以下兩個(gè)問題：首先，大部分都是通過軸距信息和先驗(yàn)知識(shí)，將圖像先分割成子圖，再進(jìn)行識(shí)別；亦或是參照人工檢車方式，對(duì)于不同工位分別進(jìn)行定位、識(shí)別。這兩種方式均需要依賴于軸距信息，當(dāng)軸距信息不準(zhǔn)確時(shí)，工位劃分和子圖均有可能發(fā)生偏移，從而影響部件的定位和識(shí)別，導(dǎo)致部件的定位和識(shí)別準(zhǔn)確率低。其次，識(shí)別的總耗時(shí)會(huì)隨著需要識(shí)別的部件數(shù)量、工位數(shù)量的增加而線性增長(zhǎng)，當(dāng)超出一定范圍時(shí)，如果仍需保證列檢時(shí)間要求，只能增加硬件成本，導(dǎo)致硬件成本高。

發(fā)明內(nèi)容

本發(fā)明的目的是為解決現(xiàn)有現(xiàn)有的自動(dòng)識(shí)別方法存在部件的定位和識(shí)別準(zhǔn)確率低，以及硬件成本高的問題，而提出一種貨車圖像自動(dòng)識(shí)別方法及識(shí)別系統(tǒng)。

本發(fā)明為解決上述技術(shù)問題所采取的技術(shù)方案是：

一種貨車圖像自動(dòng)識(shí)別方法包括以下步驟：

步驟一、在貨車軌道周圍搭建成像設(shè)備，對(duì)運(yùn)行的貨車進(jìn)行拍攝，獲取線陣圖像，對(duì)線陣圖像中相同工位進(jìn)行拼接，獲得每種工位的拼接圖像；

將所有工位的拼接圖像進(jìn)行拼接，恢復(fù)成連續(xù)圖像；

將連續(xù)圖像按固定寬度，切分為多個(gè)小圖像，相鄰小圖像之間留有重疊區(qū)域；

步驟二、將拆分后的小圖像輸入預(yù)先建立的定位網(wǎng)絡(luò)模型U-Mask-RCNN進(jìn)行訓(xùn)練，得到訓(xùn)練好的定位網(wǎng)絡(luò)模型U-Mask-RCNN；

步驟三、將待測(cè)貨車圖像輸入訓(xùn)練好的定位網(wǎng)絡(luò)模型U-Mask-RCNN，對(duì)待測(cè)圖像中各部件進(jìn)行定位，輸出待測(cè)圖像中各部件的類別Class、位置Box和各部件的分割結(jié)果Mask，得到待測(cè)圖像中各部件的子圖；

步驟四、對(duì)驟三得到的待測(cè)圖像中各部件的子圖進(jìn)行貨車故障識(shí)別，獲得識(shí)別結(jié)果。

可選的，步驟一中將所有工位的拼接圖像進(jìn)行拼接，恢復(fù)成連續(xù)圖像；具體過程為：

如果所有工位的拼接圖像的邊界值信息都存在，則根據(jù)邊界值信息，將所有工位的拼接圖像進(jìn)行拼接，恢復(fù)成連續(xù)圖像；

若所有工位的拼接圖像中有大于等于一種工位的拼接圖像的邊界值信息不存在，則采用圖像處理算法處理邊界值信息不存在的工位的拼接圖像，使所有工位的拼接圖像的邊界值信息都存在，進(jìn)而得到拼接后的連續(xù)圖像。

可選的，圖像處理算法具體過程為：

通過檢測(cè)并提取邊界圖像的特征和關(guān)鍵點(diǎn)，使用RANSAC算法匹配特征向量，估計(jì)單應(yīng)矩陣，確定不存在邊界值信息的工位的拼接圖像的邊界信息。

可選的，步驟二中的定位網(wǎng)絡(luò)模型U-Mask-RCNN包括卷積塊C1、卷積塊C2、卷積塊C3、卷積塊C4、卷積塊C5、RPN、ROI Align；