[發明專利]基于視覺的雙箱吊具中鎖狀態檢測方法

在審

• 申請號: 202210926488.5
• 申請日: 2022-08-03
• 公開（公告）號: CN115393629A
• 公開（公告）日: 2022-11-25
• 發明（設計）人: 方勝;陳東輝;孫立;王勇;付佳;梅建奎;王曉磊
• 申請（專利權）人: 天津港聯盟國際集裝箱碼頭有限公司
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06V10/22;G06N3/04;G06N3/08
• 代理公司: 天津市三利專利商標代理有限公司 12107
• 代理人: 韓新城

本發明公開一種基于視覺的雙箱吊具中鎖狀態檢測方法，包括：在雙箱吊具上對應的中鎖位置安裝四個微型工業攝像頭，通過所述微型工業攝像頭采集箱孔圖像，利用視覺分析技術判斷集裝箱孔的狀態，從而實現判斷中鎖的狀態。本發明由攝像機采集箱孔圖像，使用視覺技術進行識別判斷出箱孔狀態，進而間接的判斷中鎖的狀態，快速準確且方便設備的自動化運行。

技術領域

本發明涉及吊具檢測技術領域，特別是涉及一種基于視覺的雙箱吊具中鎖狀態檢測方法。

背景技術

港口RMG(軌道吊)或者RTG(輪胎式集裝箱門式起重機)自動化實施或者改造過程中，為提高效率，一些碼頭選用了雙箱吊具，雙箱吊具可同時抓放兩個20尺的集裝箱，大大提高了作業效率，在自動化改造升級過程中，雙箱吊具會比單箱吊具更加復雜，雙箱自動化作業過程中，吊具中鎖的狀態在原機中沒有反饋，而自動化后中鎖是否在集裝箱對應的孔中關系到了作業的安全。

發明內容

本發明的目的是針對現有技術中存在的技術缺陷，而提供一種基于視覺的雙箱吊具中鎖狀態檢測方法，實現自動化對雙箱吊具中鎖狀態進行檢測。

為實現本發明的目的所采用的技術方案是：

一種基于視覺的雙箱吊具中鎖狀態檢測方法，包括：

在雙箱吊具上對應的中鎖位置安裝四個微型工業攝像頭，通過所述微型工業攝像頭采集箱孔圖像，利用視覺分析技術判斷集裝箱孔的狀態，從而實現判斷中鎖的狀態。

其中，自動抓箱時，系統檢測到著箱信號后，通過四個攝像頭對中鎖下方的集裝箱箱孔進行抓拍，調用視覺算法檢測是否存在箱孔；通過視覺算法檢測不到箱孔，認為吊具中鎖在集裝箱孔里，屬于正常，否則屬于異常；

自動放箱時，系統檢測到著箱信號后，放箱開鎖提起預定高度，通過四個攝像頭對中鎖下方的集裝箱箱孔進行抓拍，調用視覺算法檢測是否存在箱孔；當檢測到全部箱孔，認為吊具中鎖正常脫離集裝箱，屬于正常，否則異常。

其中，所述視覺算法采用RefineDet網絡模型，RefineDet網絡模型采用兩個同步串聯模塊，包括錨點改進模塊ARM、轉換連接模塊TCB、目標檢測模塊ODM，所述轉換連接模塊TCB，具有特征融合的功能，用于轉換錨點改進模塊ARM中的特征并將其傳遞給目標檢測模塊ODM；錨點改進模塊ARM的特征層,對密集的anchor進行粗篩選，對anchor進行背景與目標的二分類，對anchor進行回歸調整位置，以獲取預定的anchor初始狀態,傳送到目標檢測模塊ODM的特征層中去進行進一步的精細處理；通過目標檢測模塊ODM在多個特征層上檢測,最后將結果匯聚到一起,得到最終檢測結果。

其中，錨點改進模塊ARM輸出的特征圖經過兩個卷積層，得到了低層特征圖；轉換連接模塊TCB通過反卷積操作實現上采樣，將前一個轉換連接模塊TCB輸出的較高層的特征圖的尺寸擴大，使其與較低層的特征圖一致，隨后將兩個特征圖相加，實現特征融合；融合之后的特征圖經過一個卷積層完成最終的轉換，并被送入目標檢測模塊ODM進行檢測。

其中，定位和分類損失函數采用如下：

式中，為前景/背景的二分類損失，是對象與非對象兩個類的交叉熵/對數損失，為前景多分類的損失，是多類置信度的softmax損失，為定位回歸損失，采用平滑L1損失；

式中，i是錨的索引；是錨的ground truth類別標簽；是錨的ground truth位置和大小；p_i和x_i是錨作為對象的預測置信度和錨框在錨點改進模塊ARM中的細化坐標；c_i和t_i是目標檢測模塊ODM中邊界框的預測對象類別和坐標；N_arm和N_adm分別是錨點改進模塊ARM和目標檢測模塊ODM中正樣本錨框的數量；Iverson括號指示函數當條件為真時輸出1，否則為0。