[發明專利]挖掘機位置和工作狀態檢測方法及裝置

在審

• 申請號: 202010039069.0
• 申請日: 2020-01-14
• 公開（公告）號: CN113128312A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 王楠
• 申請（專利權）人: 普天信息技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T7/73
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩

1.一種挖掘機位置和工作狀態檢測方法，其特征在于，包括：

獲取監控視頻，并將所述監控視頻逐幀輸入至多任務檢測模型進行挖掘機檢測，輸出所述監控視頻的當前幀中是否存在挖掘機、挖掘機位置以及挖掘機特征點位置；

若所述當前幀中存在挖掘機，則判斷所述挖掘機的當前狀態是否為初始狀態，若是，則記錄所述挖掘機位置以及挖掘機特征點位置，繼續對所述監控視頻的下一幀進行檢測，否則，對所述挖掘機的當前狀態與前一狀態進行軟匹配；

基于軟匹配結果，確定挖掘機工作狀態；

其中，所述多任務檢測模型是預先以挖掘機監控圖像為樣本，以所述挖掘機監控圖像對應的是否存在挖掘機、挖掘機位置和挖掘機特征點位置為樣本標簽進行訓練獲得的。

2.根據權利要求1所述的挖掘機位置和工作狀態檢測方法，其特征在于，訓練獲得所述多任務檢測模型的步驟，具體包括：

采集包括不同角度、光照、位置和工作狀態的不同條件下的挖掘機監控圖像，并通過自動標定和人工矯正的方式對所述挖掘機監控圖像中是否存在挖掘機、挖掘機位置和挖掘機特征點位置進行標記，構建訓練樣本集；

構建多任務檢測模型，所述多任務檢測模型包括基礎特征提取模型和用于進行目標檢測和特征點檢測的多任務多尺度檢測MT-SSD模型；

將所述訓練樣本集中的挖掘機監控圖像輸入至所述基礎特征提取模型中，輸出所述挖掘機監控圖像的基礎特征；

將所述基礎特征輸入至所述MT-SSD模型中，輸出是否存在挖掘機、挖掘機位置和挖掘機特征點位置；

基于預先標記的所述挖掘機監控圖像中是否存在挖掘機、挖掘機位置和挖掘機特征點位置，以及所述MT-SSD模型輸出的是否存在挖掘機、挖掘機位置和挖掘機特征點位置，對所述多任務檢測模型進行訓練，其中，訓練過程中利用多任務損失函數計算多任務損失，所述多任務損失包括是否存在挖掘機分類損失、挖掘機位置損失和挖掘機特征點位置損失三個部分；

訓練結束后保存當前迭代所述多任務檢測模型的參數，獲得訓練完成的多任務檢測模型。

3.根據權利要求2所述的挖掘機位置和工作狀態檢測方法，其特征在于，所述多任務損失函數具體為：

其中，α_loc為挖掘機位置檢測任務的權重，α_cls為挖掘機檢測任務的權重，α_landmark為挖掘機特征點位置檢測任務的權重，為第i個樣本的挖掘機位置損失，為第i個樣本的是否存在挖掘機分類損失，為第i個樣本的挖掘機特征點位置損失，N為所述訓練樣本集的樣本數量。

4.根據權利要求3所述的挖掘機位置和工作狀態檢測方法，其特征在于，第i個樣本的挖掘機特征點位置損失采用如下公式計算：

其中，K為特征點的個數，||·||₂為歐式距離，為所述MT-SSD模型輸出的第i個樣本的挖掘機特征點k的位置，為對應的預先標記的挖掘機特征點的位置。

5.根據權利要求2所述的挖掘機位置和工作狀態檢測方法，其特征在于，所述基礎特征提取模型具體為Mobilenet模型。