[發明專利]一種貨車圖像自動識別方法及識別系統

有效

• 申請號: 202110614695.2
• 申請日: 2021-06-02
• 公開（公告）號: CN113221839B
• 公開（公告）日: 2022-02-01
• 發明（設計）人: 高恩穎;韓旭
• 申請（專利權）人: 哈爾濱市科佳通用機電股份有限公司
• 主分類號: G06V20/20
• 分類號: G06V20/20;G06N3/04;G06N3/08;G06T3/40
• 代理公司: 哈爾濱市松花江專利商標事務所 23109
• 代理人: 時起磊

1.一種貨車圖像自動識別方法，其特征在于，該方法包括以下步驟：

步驟一、在貨車軌道周圍搭建成像設備，對運行的貨車進行拍攝，獲取線陣圖像，對線陣圖像中相同工位進行拼接，獲得每種工位的拼接圖像；

將所有工位的拼接圖像進行拼接，恢復成連續圖像；

將連續圖像按固定寬度，切分為多個小圖像，相鄰小圖像之間留有重疊區域；

步驟二、將拆分后的小圖像輸入預先建立的定位網絡模型U-Mask-RCNN進行訓練，得到訓練好的定位網絡模型U-Mask-RCNN；

步驟三、將待測貨車圖像輸入訓練好的定位網絡模型U-Mask-RCNN，對待測圖像中各部件進行定位，輸出待測圖像中各部件的類別Class、位置Box和各部件的分割結果Mask，得到待測圖像中各部件的子圖；

步驟四、對驟三得到的待測圖像中各部件的子圖進行貨車故障識別，獲得識別結果；

所述步驟二中的定位網絡模型U-Mask-RCNN包括卷積塊C1、卷積塊C2、卷積塊C3、卷積塊C4、卷積塊C5、RPN、ROIAlign；

卷積塊C1的輸出連接卷積塊C2的輸入，卷積塊C2的輸出連接卷積塊C3的輸入，卷積塊C3的輸出連接卷積塊C4的輸入，卷積塊C4的輸出連接卷積塊C5的輸入，卷積塊C5的輸出連接RPN，RPN連接ROIAlign；

所述步驟二中將拆分后的小圖像輸入預先建立的定位網絡模型U-Mask-RCNN進行訓練，得到訓練好的定位網絡模型U-Mask-RCNN；具體過程為：

拆分后的小圖像輸入定位網絡模型U-Mask-RCNN中的卷積塊C1，經過卷積塊C1處理完成特征圖的下采樣，卷積塊C1輸出特征圖輸入卷積塊C2，經過卷積塊C2處理完成特征圖的下采樣，卷積塊C2輸出特征圖輸入卷積塊C3，經過卷積塊C3處理完成特征圖的下采樣，卷積塊C3輸出特征圖輸入卷積塊C4，經過卷積塊C4處理完成特征圖的下采樣，卷積塊C4輸出特征圖輸入卷積塊C5，經過卷積塊C5處理完成特征圖的下采樣，卷積塊C5輸出特征圖；

對卷積塊C2輸出特征圖進行1×1的卷積得到特征圖P^0,0；

對特征圖P^0,0進行1×1的卷積得到特征圖P^0,1；

對特征圖P^0,0進行1×1的卷積得到A，對特征圖P^0,1進行1×1的卷積得到B，將A和B融合得到特征圖P^0,2；

對特征圖P^0,0進行1×1的卷積得到A，對特征圖P^0,1進行1×1的卷積得到B，對特征圖P^0,2進行1×1的卷積得到C；

對卷積塊C3輸出特征圖進行1×1的卷積得到特征圖P^1,0；

對特征圖P^1,0進行1×1的卷積得到特征圖P^1,1；

對特征圖P^1,0進行1×1的卷積得到D，對特征圖P^1,1進行1×1的卷積得到E；

對卷積塊C4輸出特征圖進行1×1的卷積得到特征圖P^2,0；

對特征圖P^2,0進行1×1的卷積得到特征圖F；

對卷積塊C5輸出特征圖進行1×1的卷積得到特征圖P^3,0；

對特征圖P^3,0進行反卷積操作得到特征圖的上采樣結果G，將G與F融合得到特征圖P^2,1；

對特征圖P^2,1進行反卷積操作得到特征圖的上采樣結果H，將D、E和H融合得到特征圖P^1,2；

對特征圖P^1,2進行反卷積操作得到特征圖的上采樣結果I，將A、B、C和I融合得到特征圖P^0,3；

將特征圖P^0,3輸入RPN層，將RPN層輸出輸入ROIAlign，得到特征圖J；

將特征圖P^1,2輸入RPN層，將RPN層輸出輸入ROIAlign，得到特征圖K；

將特征圖P^2,1輸入RPN層，將RPN層輸出輸入ROIAlign，得到特征圖L；

將特征圖P^3,0輸入RPN層，將RPN層輸出輸入ROIAlign，得到特征圖M；

將特征圖J、特征圖K、特征圖L和特征圖M進行特征融合，輸出圖像中目標的類別Class、位置Box和目標的分割結果Mask；

利用輸出的類別Class、位置Box和分割結果Mas調整定位網絡模型U-Mask-RCNN的參數，直至收斂，得到訓練好的定位網絡模型U-Mask-RCNN。