[發明專利]一種基于深度學習的實時判斷叉車行駛位置的方法

有效

• 申請號: 201911293772.8
• 申請日: 2019-12-16
• 公開（公告）號: CN111161558B
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 李慶利;宗艷寧;尹金濤;盛標勝
• 申請（專利權）人: 華東師范大學
• 主分類號: G08G1/123
• 分類號: G08G1/123;H04N7/18;G06N3/04;G06N3/08
• 代理公司: 上海藍迪專利商標事務所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

本發明公開了一種基于深度學習的實時判斷叉車行駛位置的方法，包括以下步驟：用標注工具在叉車監控圖片中畫出應行駛的區域；將叉車監控視頻第1幀輸入到目標檢測網絡，檢測該幀中的叉車，輸出叉車在圖片中的邊框,并判斷叉車是否在規定的區域內行駛；將叉車監控視頻第1至9幀中的前后兩幀分別輸入到的無監督目標跟蹤網絡，在第2至9幀對第1幀中已檢測出的叉車進行跟蹤，輸出叉車在圖片中的邊框,并判斷所述已跟蹤到的叉車是否在規定的區域內行駛。本發明充分利用目標檢測和無監督目標跟蹤算法，目標跟蹤網絡使用前向跟蹤和后向跟蹤，計算一致性損失值調整卷積神經網絡參數，提高實時跟蹤的準確率。使用無監督網絡，減少人工標注的投入。

技術領域

本發明涉及工業作業安全領域，尤其是一種基于深度學習的實時判斷叉車行駛位置的方法。

背景技術

叉車，又稱工業搬運車輛，因能夠短距離較大量搬運貨物而廣泛應用在生產生活中。僅在我國，就有290萬至350萬輛叉車竄梭在各工作場地搬運貨物。但在實際駕駛叉車過程中，存在因盲點、疲勞、超速導致相撞、打滾等，進而發生嚴重事故，造成受傷死亡、巨額賠償和領導追責等后果。目前，基于深度學習的目標檢測和目標跟蹤算法發展成熟，應用先檢測后跟蹤的方法能夠實現實時準確判斷叉車行駛位置。

發明內容

本發明的目的在于提供一種基于深度學習的實時判斷叉車行駛位置的方法，該方法能夠充分利用目標檢測和目標跟蹤，高效準確判斷叉車行駛位置。

實現本發明目的的具體技術方案是：

一種基于深度學習的實時判斷叉車行駛位置的方法，所述方法包括以下步驟：

(1)用標注工具在監控攝像頭獲取的叉車監控圖片中畫出叉車應行駛的區域；

(2)將叉車監控視頻第1幀輸入到目標檢測網絡，檢測所述幀中的叉車，輸出叉車在圖片中的邊框,并判斷所述已檢測出的叉車是否在規定的區域內行駛；

(3)將所述叉車監控視頻第1至9幀中的前后兩幀分別輸入到無監督目標跟蹤網絡，所述目標跟蹤網絡在第2至9幀對第1幀中所述已檢測出的叉車進行跟蹤，輸出叉車在圖片中的邊框,并判斷所述已跟蹤到的叉車是否在規定的區域內行駛。

(4)所述叉車監控視頻的每10幀重復所述步驟(2)-步驟(3)，以此循環，實時判斷叉車行駛位置。

進一步，步驟(1)的具體包括：

用labelme軟件讀入監控攝像頭獲取的叉車監控圖片；

在所述叉車監控圖片用多邊形工具畫出叉車應行駛的區域；

將所述叉車應行駛的區域保存在json后綴的文件中。

進一步，步驟(2)的具體包括：

目標檢測網絡選用ScratchDet網絡，并使用殘差網絡作為所述ScratchDet網絡的主干網絡；

將所述殘差網絡的第一個卷積層的卷積步進設定為1，取消下采樣操作，并在所述ScratchDet網絡的特征提取層后面添加所述殘差網絡，以提高檢測速度和檢測準確率；

將所述叉車監控視頻第1幀輸入到所述ScratchDet網絡，所述ScratchDet網絡對所述第1幀進行叉車檢測；

將所述檢測到的叉車邊框信息，即矩形四個角在圖片中的位置，記錄在數組中；

判斷矩形左下角和矩形右下角在圖片中所對應的位置是否在叉車應行駛的區域內；

進一步，步驟(3)的具體包括：