[發明專利]一種基于深度學習的實時判斷叉車行駛位置的方法

有效

• 申請號: 201911293772.8
• 申請日: 2019-12-16
• 公開（公告）號: CN111161558B
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 李慶利;宗艷寧;尹金濤;盛標勝
• 申請（專利權）人: 華東師范大學
• 主分類號: G08G1/123
• 分類號: G08G1/123;H04N7/18;G06N3/04;G06N3/08
• 代理公司: 上海藍迪專利商標事務所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

1.一種基于深度學習的實時判斷叉車行駛位置的方法，其特征在于，所述方法包括以下步驟：

步驟1：用標注工具在監控攝像頭獲取的叉車監控圖片中畫出叉車應行駛的區域；

步驟2：將叉車監控視頻第1幀輸入到目標檢測網絡，檢測所述幀中的叉車，輸出叉車在圖片中的邊框,并判斷所述已檢測出的叉車是否在規定的區域內行駛；

步驟3：將所述叉車監控視頻第1至9幀中的前后兩幀分別輸入到無監督目標跟蹤網絡，所述目標跟蹤網絡在第2至9幀對第1幀中所述已檢測出的叉車進行跟蹤，輸出叉車在圖片中的邊框，并判斷所述已跟蹤到的叉車是否在規定的區域內行駛；

步驟3的具體過程為：

首先是前向跟蹤，將叉車監控視頻的前一幀和前一幀中檢測出或前向跟蹤到的叉車邊框信息輸入到目標跟蹤網絡，用CNN網絡提取前一幀中叉車的特征和叉車監控視頻后一幀的特征，并使用濾波器預測出在前一幀已檢測出或跟蹤到的叉車在后一幀中的位置，判斷后一幀中前向跟蹤到的叉車是否在規定的區域內行駛，而所述濾波器是使用如下公式進行跟蹤的：

其中F是傅里葉變換，F^-1是傅里葉逆變換，是所述CNN網絡參數為θ的特征提取操作，T是從前一幀中截取的叉車，Y_T是截取叉車模板的標簽值，*復共軛運算，λ是正則參數，W_T是目標叉車的模板，S是所述后一幀中前向跟蹤到的叉車,R_S是后一幀中前向跟蹤到的叉車的響應值；

其次是后向跟蹤，即跟蹤后一幀中由前向跟蹤到的叉車在前一幀中的位置。將后一幀和在后一幀中由前向跟蹤到的叉車邊框信息輸入到所述目標跟蹤網絡，使用和所述前向跟蹤相同的方法和公式，計算出前一幀中由后向跟蹤到的叉車的響應值R_T；

使用如下公式計算前一幀中由后向跟蹤到的叉車的響應值R_T與前向跟蹤中前一幀已有的叉車模板的標簽值Y_T的一致性損失值L_un，并計算出一致性損失值最小時所述CNN網絡參數θ值，修正所述CNN網絡的參數，以使之后的前向跟蹤中得到準確的跟蹤結果；

步驟4：所述叉車監控視頻的每10幀重復所述步驟2-步驟3，以此循環，實時判斷叉車行駛位置。

2.根據權利要求1所述的基于深度學習的實時判斷叉車行駛位置的方法，其特征在于，所述步驟1的具體過程為：

用labelme軟件讀入監控攝像頭獲取的叉車監控圖片；

在所述叉車監控圖片用多邊形工具畫出叉車應行駛的區域；

將所述叉車應行駛的區域保存在json后綴的文件中。

3.根據權利要求1所述的基于深度學習的實時判斷叉車行駛位置的方法，其特征在于，所述步驟2的具體過程為：

目標檢測網絡選用ScratchDet網絡，并使用殘差網絡作為所述ScratchDet網絡的主干網絡；

將所述殘差網絡的第一個卷積層的卷積步進設定為1，取消下采樣操作，并在所述ScratchDet網絡的特征提取層后面添加所述殘差網絡，以提高檢測速度和檢測準確率；

將所述叉車監控視頻第1幀輸入到所述ScratchDet網絡，所述ScratchDet網絡對所述第1幀進行叉車檢測；

將所述檢測到的叉車邊框信息，即矩形四個角在圖片中的位置，記錄在數組中；

判斷矩形左下角和矩形右下角在圖片中所對應的位置是否在叉車應行駛的區域內。