[發明專利]一種基于深度學習的集裝箱鎖扣檢測及預警方法

有效

• 申請號: 201710947766.4
• 申請日: 2017-10-12
• 公開（公告）號: CN107680092B
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 申震;袁基睿;劉昕;山世光
• 申請（專利權）人: 中科視拓（北京）科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/187;G06T7/254;G06T7/73;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于深度學習的集裝箱鎖扣檢測及預警方法，首先通過深度學習方法對集裝箱箱角進行檢測，然后對遠角箱角進行檢測校準，最終通過HOG特征提取以及分類器分類判斷鎖扣是否存在；若存在鎖扣，則通過警示燈警示或警示音提醒進行報警，立即停止移動集裝箱，并人為拆卸鎖扣。本發明具有集裝箱鎖扣自動檢測效率高、預警準確的優點，可大幅度降低操作人員的工作強度，避免因人為疏漏造成的安全事故，可廣泛應用于鐵路、公路、水路和航空等領域的集裝箱運輸行業。

技術領域

本發明涉及一種方法，尤其涉及一種基于深度學習的集裝箱鎖扣檢測及預警方法。

背景技術

隨著中國經濟全球化步伐的加快，港口日益成為全球綜合運輸網絡的神經樞紐。近年來，隨著港口集裝箱業務迅猛發展，集裝箱運輸已經廣泛應用于全球各地的船舶運輸。為了保證船舶運輸中集裝箱貨物運送的安全穩定，船上的所有集裝箱都必須利用某些類型的鎖定設備進行運輸鎖定。集裝箱鎖扣是一種常規設置于集裝箱每個角/底處的鎖定設備，每個鎖扣都要鎖定在下方的集裝箱或者船舶甲板(如果該集裝箱處于堆疊的最下部)上。

現今在貨運市場上存在多種不同類型的集裝箱鎖扣，大部分的鎖扣都需要人工進行解鎖和拆卸，即在船舶到達碼頭之后，由人工解鎖，然后使用吊機將集裝箱吊起，再通過人工將鎖扣拆卸，才可以進行轉移裝車。這種操作方式存在以下問題：1)集裝箱鎖扣在拆卸過程容易出現疏漏，未正確拆卸的鎖扣不能正確裝車，會增加事故出現的隱患；2)需要進一步人為判斷集裝箱四個角的鎖扣是否正確拆卸，極大地加重了操作人員的工作負擔，具有費時費力的缺陷。因此，開發通用集裝箱鎖扣的檢測及預警方法已成為集裝箱運輸技術領域的研究重點。

發明內容

為了解決上述技術所存在的不足之處，本發明提供了一種基于深度學習的集裝箱鎖扣檢測及預警方法。

為了解決以上技術問題，本發明采用的技術方案是：一種基于深度學習的集裝箱鎖扣檢測及預警方法，包括以下步驟：

步驟一、利用箱角檢測方法以及遠角箱角的校準方法，獲得集裝箱近角箱角和遠角箱角的準確位置；由于鎖扣和箱角的關系是鎖扣在箱角正下方，于是利用此幾何關系來確定鎖扣可能存在的位置；

箱角檢測方法為將由攝像頭實時獲取的待檢測集裝箱圖像，通過骨架網絡和多核卷積網絡的級聯以及分類器與回歸器網絡建立一種基于深度學習的深度神經網絡，即箱角檢測模型，然后對箱角檢測模型進行訓練，最后得到圖像中箱角存在的位置，并給出該位置為箱角的置信度；

遠角箱角的校準方法包括以下步驟：

S1、利用拍攝視頻的連續性信息，進行背景建模，提取集裝箱的運動前景；

S2、在提取的運動前景中進行Hough線檢測，快速檢測出集裝箱上存在的線段，并記錄每一條線段的起點和終點；

S3、利用深度學習方法檢測到的近角位置以及S2中檢測到的直線，推算出遠角的位置，具體推算過程為：由于Hough線檢測會檢測出大量的線段，首先將無關線段刪除，然后對剩余的線段進行連通域分析，將相近的線段連成一個連通域，取連通域距離近角箱角最遠的位置，以此位置作為遠角箱角的右下角，按遠角箱角和近角箱角的大小比例，得到遠角箱角的長和寬，即得到遠角箱角的位置；

步驟二、提取步驟一中獲得的鎖扣可能存在部位的圖像，進行尺度變化到特定尺度；

步驟三、提取HOG特征得到特定維度的特征向量，再使用SVM分類器進行分類，判斷鎖扣是否存在；

步驟四、若存在鎖扣，通過警示燈警示或警示音提醒進行報警，立即停止移動集裝箱，并人為拆卸鎖扣。

進一步地，遠角箱角的校準方法S1中，背景建模的方法是幀差法，即將視頻中相鄰的兩幀圖像進行灰度化之后對應像素相減，在得到幀差后的灰度圖像后，采用膨脹腐蝕方法，去除噪點，保留運動前景。