[發明專利]一種裝卸車鶴管狀態識別方法和系統

在審

• 申請號: 202211514967.2
• 申請日: 2022-11-28
• 公開（公告）號: CN115880629A
• 公開（公告）日: 2023-03-31
• 發明（設計）人: 高軍;劉治財;朱言慶;張悅;方亮
• 申請（專利權）人: 智洋創新科技股份有限公司
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V20/40;G06V10/764;G06V10/82;G06V10/774
• 代理公司: 濟南誠智商標專利事務所有限公司 37105
• 代理人: 劉丙松

1.一種裝卸車鶴管狀態識別方法，其特征在于，包括以下步驟：

獲取鶴管圖像歷史數據，構建鶴管圖像數據集；所述數據集包括鶴管類別的第一數據集和不同類別鶴管檢測部位的第二數據集；

構建用于鶴管類別識別的第一檢測網絡模型；采用第一數據集對所述第一檢測網絡模型進行訓練；構建用于鶴管部位識別的第二檢測網絡模型，采用第二數據集對所述第二檢測網絡模型進行訓練；

采用訓練后的第一檢測網絡模型對待識別鶴管圖像進行鶴管類別預測；采用訓練后的第二檢測網絡模型對預測到鶴管類別的圖像進行鶴管部位預測；對鶴管類別預測結果和鶴管部位預測結果進行分析得到當前鶴管的使用狀態。

2.根據權利要求1所述的一種裝卸車鶴管狀態識別方法，其特征在于，所述獲取鶴管圖像歷史數據，構建鶴管圖像數據集的過程包括：

獲取裝卸車區域內的監控設備采集的不同時間段的視頻流；

采用視頻抽幀的方法對收集到的視頻流處理得到鶴管圖像；

對所述鶴管圖像中鶴管的類別進行一次標注得到第一數據集；在對鶴管類別一次標注完成后再對鶴管部位進行二次標注形成第二數據集；

將所述第一數據集按照預設比例劃分為第一訓練集、第一驗證集和第一測試集；將所述第二數據集按照預設比例劃分為第二訓練集、第二驗證集和第二測試集。

3.根據權利要求2所述的一種裝卸車鶴管狀態識別方法，其特征在于，對所述鶴管圖像中鶴管類別進行一次標注包括：根據鶴管圖像中鶴管的安裝位置和粗細標注為頂部鶴管、粗底部鶴管和細底部鶴管；

在對鶴管的類別一次標注完成后再對鶴管的部位進行二次標注包括：分別對頂部鶴管、粗底部鶴管和細底部鶴管的檢測部位標注為鶴管管頭、鶴管管尾和鶴管拐角。

4.根據權利要求3所述的一種裝卸車鶴管狀態識別方法，其特征在于，

所述采用第一數據集對所述第一檢測網絡模型進行訓練的過程包括：采用第一訓練集對所述第一檢測網絡模型進行訓練；

所述采用第二數據集對所述第二檢測網絡模型進行訓練的過程包括：采用第二訓練集對所述第二檢測網絡模型進行訓練。

5.根據權利要求1所述的一種裝卸車鶴管狀態識別方法，其特征在于，所述第一檢測網絡模型采用在yolov5算法中添加注意力機制；所述注意力機制的原理為：第一數據集依次經過yolov5算法中Backbone層和Head層提取特征后得到預設大小的特征圖；通過計算待識別鶴管圖像中目標像素點與特征圖中其它所有點之間的相互關系，利用所述相互關系對目標像素點的特征進行加權，以獲取有效的目標像素點特征。

6.根據權利要求1所述的一種裝卸車鶴管狀態識別方法，其特征在于，所述第二檢測網絡模型采用Hrnet關鍵點檢測算法；所述Hrnet關鍵點檢測算法檢測的過程為：提取不同檢測部位相對應的部位特征圖；部位特征圖中最大特征值所在的對應位置作為鶴管管頭、鶴管管尾和鶴管拐角的關鍵點。

7.根據權利要求5所述的一種裝卸車鶴管狀態識別方法，其特征在于，所述采用訓練后的第一檢測網絡模型對待識別鶴管圖像進行鶴管類別預測的過程包括：將待識別的鶴管圖像輸入到訓練后的第一檢測網絡模型中，通過訓練后的第一檢測網絡模型對待識別的鶴管圖像進行特征提取和類別預測，得到待識別鶴管圖像的鶴管類別。

8.根據權利要求7所述的一種裝卸車鶴管狀態識別方法，其特征在于，所述采用訓練后的第二檢測網絡模型對預測到鶴管類別的圖像進行鶴管部位預測的過程包括：將第一檢測網絡模型識別到的鶴管在原始待識別鶴管圖像中的區域輸入至第二檢測網絡模型中進行部位預測，得到鶴管不同部位的關鍵點坐標和類別信息。