[發明專利]基于視覺的雙箱吊具中鎖狀態檢測方法

在審

• 申請號: 202210926488.5
• 申請日: 2022-08-03
• 公開（公告）號: CN115393629A
• 公開（公告）日: 2022-11-25
• 發明（設計）人: 方勝;陳東輝;孫立;王勇;付佳;梅建奎;王曉磊
• 申請（專利權）人: 天津港聯盟國際集裝箱碼頭有限公司
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06V10/22;G06N3/04;G06N3/08
• 代理公司: 天津市三利專利商標代理有限公司 12107
• 代理人: 韓新城

1.基于視覺的雙箱吊具中鎖狀態檢測方法，其特征在于，包括以下步驟：

在雙箱吊具上對應的中鎖位置安裝四個微型工業攝像頭，通過所述微型工業攝像頭采集箱孔圖像，利用視覺分析技術判斷集裝箱孔的狀態，從而實現判斷中鎖的狀態。

2.根據權利要求1所述基于視覺的雙箱吊具中鎖狀態檢測方法，其特征在于，自動抓箱時，系統檢測到著箱信號后，通過四個攝像頭對中鎖下方的集裝箱箱孔進行抓拍，調用視覺算法檢測是否存在箱孔；通過視覺算法檢測不到箱孔，認為吊具中鎖在集裝箱孔里，屬于正常，否則屬于異常；

自動放箱時，系統檢測到著箱信號后，放箱開鎖提起預定高度，通過四個攝像頭對中鎖下方的集裝箱箱孔進行抓拍，調用視覺算法檢測是否存在箱孔；當檢測到全部箱孔，認為吊具中鎖正常脫離集裝箱，屬于正常，否則異常。

3.根據權利要求2所述基于視覺的雙箱吊具中鎖狀態檢測方法，其特征在于，所述視覺算法采用RefineDet網絡模型，RefineDet網絡模型采用兩個同步串聯模塊，包括錨點改進模塊ARM、轉換連接模塊TCB、目標檢測模塊ODM，所述轉換連接模塊TCB，具有特征融合的功能，用于轉換錨點改進模塊ARM中的特征并將其傳遞給目標檢測模塊ODM；錨點改進模塊ARM的特征層,對密集的anchor進行粗篩選，對anchor進行背景與目標的二分類，對anchor進行回歸調整位置，以獲取預定的anchor初始狀態,傳送到目標檢測模塊ODM的特征層中去進行進一步的精細處理；通過目標檢測模塊ODM在多個特征層上檢測,最后將結果匯聚到一起,得到最終檢測結果。

4.根據權利要求3所述基于視覺的雙箱吊具中鎖狀態檢測方法，其特征在于，錨點改進模塊ARM輸出的特征圖經過兩個卷積層，得到了低層特征圖；轉換連接模塊TCB通過反卷積操作實現上采樣，將前一個轉換連接模塊TCB輸出的較高層的特征圖的尺寸擴大，使其與較低層的特征圖一致，隨后將兩個特征圖相加，實現特征融合；融合之后的特征圖經過一個卷積層完成最終的轉換，并被送入目標檢測模塊ODM進行檢測。

5.根據權利要求4所述基于視覺的雙箱吊具中鎖狀態檢測方法，其特征在于，其中，定位和分類損失函數采用如下：

式中，為前景/背景的二分類損失，是對象與非對象兩個類的交叉熵/對數損失，為前景多分類的損失，是多類置信度的softmax損失，為定位回歸損失，采用平滑L1損失；

式中，i是錨的索引；是錨的ground truth類別標簽；是錨的ground truth位置和大小；p_i和x_i是錨作為對象的預測置信度和錨框在錨點改進模塊ARM中的細化坐標；c_i和t_i是目標檢測模塊ODM中邊界框的預測對象類別和坐標；N_arm和N_adm分別是錨點改進模塊ARM和目標檢測模塊ODM中正樣本錨框的數量；Iverson括號指示函數當條件為真時輸出1，否則為0。

6.根據權利要求5所述基于視覺的雙箱吊具中鎖狀態檢測方法，其特征在于，檢測步驟如下：

碼頭現場拍攝帶有集裝箱的圖片或視頻；

從拍攝的圖片或視頻中，使用dlib自帶的imglab標注工具，對要標注的數據創建xml文件；

將標注好的數據進行分配，分為訓練數據和測試數據,或是分為訓練數據，驗證數據和測試數據；或是驗證數據和測試數據；

將訓練數據中xml格式的數據轉換成yolov3訓練用的數據格式，包括三個文本文件和二個目錄：三個文本文件是訓練文本文件train.txt，用于保存訓練圖片目錄列表；測試文本文件test.txt，用于保存測試圖片目錄列表；分類名稱文本文件class.names，用于保存分類名稱；二個目錄是目錄Labels，用于保存每個圖片的邊界框和分類信息；圖片目錄JPEGImages，保存所有的圖片；

對箱孔定位模型進行訓練，訓練完成后，通過訓練好的箱孔定位模型，用于完成作業時對鎖頭的實時定位，用于帶箱集卡的引導，從集卡或者箱區抓取箱子和提供疊放箱的放置，以實現上下兩層箱的對齊在誤差范圍內。