[發明專利]一種基于深度學習的集裝箱鎖扣檢測及預警方法

有效

• 申請號: 201710947766.4
• 申請日: 2017-10-12
• 公開（公告）號: CN107680092B
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 申震;袁基睿;劉昕;山世光
• 申請（專利權）人: 中科視拓（北京）科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/187;G06T7/254;G06T7/73;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于深度學習的集裝箱鎖扣檢測及預警方法，其特征在于：所述方法包括以下步驟：

步驟一、利用箱角檢測方法以及遠角箱角的校準方法，獲得集裝箱近角箱角和遠角箱角的準確位置；由于鎖扣和箱角的關系是鎖扣在箱角正下方，于是利用此幾何關系來確定鎖扣可能存在的位置；

所述箱角檢測方法為將由攝像頭實時獲取的待檢測集裝箱圖像，通過骨架網絡和多核卷積網絡的級聯以及分類器與回歸器網絡建立一種基于深度學習的深度神經網絡，即箱角檢測模型，然后對箱角檢測模型進行訓練，最后得到圖像中箱角存在的位置，并給出該位置為箱角的置信度；

所述遠角箱角的校準方法包括以下步驟：

S1、利用拍攝視頻的連續性信息，進行背景建模，提取集裝箱的運動前景；

S2、在提取的運動前景中進行Hough線檢測，快速檢測出集裝箱上存在的線段，并記錄每一條線段的起點和終點；

S3、利用深度學習方法檢測到的近角位置以及S2中檢測到的直線，推算出遠角的位置，具體推算過程為：由于Hough線檢測會檢測出大量的線段，首先將無關線段刪除，然后對剩余的線段進行連通域分析，將相近的線段連成一個連通域，取連通域距離近角箱角最遠的位置，以此位置作為遠角箱角的右下角，按遠角箱角和近角箱角的大小比例，得到遠角箱角的長和寬，即得到遠角箱角的位置；

步驟二、提取步驟一中獲得的鎖扣可能存在部位的圖像，進行尺度變化到特定尺度；

步驟三、提取HOG特征得到特定維度的特征向量，再使用SVM分類器進行分類，判斷鎖扣是否存在；

步驟四、若存在鎖扣，通過警示燈警示或警示音提醒進行報警，立即停止移動集裝箱，并人為拆卸鎖扣。

2.根據權利要求1所述的基于深度學習的集裝箱鎖扣檢測及預警方法，其特征在于：所述遠角箱角的校準方法S1中，背景建模的方法是幀差法，即將視頻中相鄰的兩幀圖像進行灰度化之后對應像素相減，在得到幀差后的灰度圖像后，采用膨脹腐蝕方法，去除噪點，保留運動前景。

3.根據權利要求2所述的基于深度學習的集裝箱鎖扣檢測及預警方法，其特征在于：所述遠角箱角的校準方法S3中，無關線段的刪除原則為：首先要保證線段具有一定長度，長度按照集裝箱占圖像的比例設置；再者要保留與集裝箱近角外接矩形距離較近的部分；最后考慮到集裝箱在移動過程中是保持正常形態的，不會出現傾斜或者翻轉的情況，因此只保留傾斜角處于-25°～25°之內的線段；綜合上述原則，將不符合規定的線段刪除。

4.根據權利要求3所述的基于深度學習的集裝箱鎖扣檢測及預警方法，其特征在于：所述遠角箱角的校準方法S3中，遠角箱角和近角箱角的大小比例通常取2:3。

5.根據權利要求4所述的基于深度學習的集裝箱鎖扣檢測及預警方法，其特征在于：所述步驟一箱角檢測方法具體包括以下步驟：

步驟I、從攝像頭實時獲取待檢測集裝箱圖像并將其采用線性插值法進行尺寸變換至設定大小；

步驟II、通過骨架網絡和多核卷積網絡的級聯以及分類器與回歸器網絡建立一種基于深度學習的深度神經網絡，即箱角檢測模型；然后對箱角檢測模型進行訓練，其訓練方法為：

a、采集大量現實場景中的集裝箱圖像進行人工標注，框出存在箱角的位置，給出箱角區域的起點坐標和終點坐標，標注箱角的類別，進而得到數據樣本；

b、將數據樣本輸入至建立的深度神經網絡中進行特征提取與分類回歸，得到箱角位置和箱角種類的置信度；

c、通過損失函數將獲得的箱角位置和箱角類別的置信度與人工標注的結果進行對比，得到量化的結果，再通過深度神經網絡中的梯度反向傳導機制，自動調整深度神經網絡中的各個神經元的權值，完成深度神經網絡的訓練；

步驟III、將尺寸變化后的圖像輸入預先訓練好的箱角檢測模型中進行箱角檢測，得到圖像中箱角存在的位置，并給出該位置為箱角的置信度。