[發明專利]基于多目標融合與時空視頻序列的手機檢測方法

有效

• 申請號: 202011079614.5
• 申請日: 2020-10-10
• 公開（公告）號: CN112257527B
• 公開（公告）日: 2022-09-02
• 發明（設計）人: 龔勛;王琛中;王立
• 申請（專利權）人: 西南交通大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/10;G06V40/20;G06V10/774;G06V10/82;G06N3/04
• 代理公司: 成都東恒知盛知識產權代理事務所(特殊普通合伙) 51304
• 代理人: 何健雄;廖祥文

1.基于多種目標融合與時空視頻序列的手機檢測方法，其特征在于：所述手機檢測方法包括：

A1、對改進的yolo模型進行訓練得到檢測模型，yolo模型的具體改進如下：

如果某anchor框已被某原物體賦予標簽，則判定為原物體是否有唯一框；

如果原物體有唯一框，則判斷現物體是否能夠賦值anchor，如果存在，則現物體取消對某anchor框的賦值，否則現物體往下尋找下一個iou值最高的anchor框進行賦值；

如果原物體沒有唯一框，則判斷是否有現物體最高iou的anchor和原物體非最高的iou的anchor覆蓋原賦值；如果有，則判斷是否有現物體非最高iou的anchor和原物體最高iou的anchor；如果有，則判斷現物體是否能夠存在賦值anchor，如果存在，則現物體取消對某anchor框的賦值，否則覆蓋原賦值；如果有現物體非最高iou的anchor和原物體非最高iou的anchor，則iou低者被覆蓋；

A2、輸入視頻圖像幀運行檢測模型得到第一幀預測值；

A3、對所述第一幀預測值進行解碼，去掉score值低于預設值的框并以Diou閾值實現NMS，并根據某幀圖像的解碼結果在只出現手機框時，對手機框進行抑制；

A4、將抑制后的結果作為目標模板，輸入視頻圖像幀作為候選框搜索區域，將二者同時輸入到全連接孿生網絡，并選擇score map相似度最大的結果對視頻圖像幀中的手機進行畫框標記；

A5、如果已跟蹤設定幀數，則重復步驟A2-A4直到視頻圖像輸入結束。

2.根據權利要求1所述的基于多種目標融合與時空視頻序列的手機檢測方法，其特征在于：所述手機檢測方法還包括如果沒有設定幀數，則重復將抑制后的結果作為目標模板，輸入視頻圖像幀作為候選框搜索區域，將二者同時輸入到全連接孿生網絡，并選擇scoremap相似度最大的結果對視頻圖像幀中的手機進行畫框標記的步驟。

3.根據權利要求1所述的基于多種目標融合與時空視頻序列的手機檢測方法，其特征在于：所述手機檢測方法還包括在對執行改進的yolov3模型進行訓練得到檢測模型，并輸入視頻圖像幀運行檢測模型得到第一幀預測值步驟之前需要執行獲取訓練集和測試集的步驟。

4.根據權利要求3所述的基于多種目標融合與時空視頻序列的手機檢測方法，其特征在于：所述獲取訓練集合測試集的步驟包括：對錄制視頻進行分幀處理并對處理后的視頻圖片進行標注，隔幀提取部分圖片構建數據集，將數據集按照一定比例劃分為訓練集和測試集。

5.根據權利要求1所述的基于多種目標融合與時空視頻序列的手機檢測方法，其特征在于：所述對所述第一幀預測值進行解碼，去掉score值低于預設值的框并以Diou閾值實現NMS，并根據某幀圖像的解碼結果在只出現手機框時，對手機框進行抑制包括：

根據解碼公式bx＝sigmoid(t_x)+cx、by＝sigmoid(t_y)+cy、bw＝p_we^tw、bh＝p_he^th、conf＝sigmoid(raw_conf)和prob＝sigmoid(raw_prob)對所述第一幀預測值進行解碼，其中，bx、by、bh、bw分別表示預測框的中心橫縱坐標與高寬，p_h和p_w分別表示先驗框的高和寬，t_x和t_y表示的是物體中心距離網格左上角位置的預測偏移量，tw和th表示的是物體相對于先驗框的預測偏移量，cx和cy則代表網格左上角的坐標，conf為置信度、prob為類別概率；

以0.4的score閾值去掉置信度或者類別概率不滿足要求的框并以0.1的Diou閾值實現NMS；

針對某幀圖像的解碼結果，若出現手機框而未出現人體框或者手部框或者攝像頭框的情況時，并剔相應圖像中關于手機的預測框，從而對手機框進行抑制。

6.根據權利要求1所述的基于多種目標融合與時空視頻序列的手機檢測方法，其特征在于：對yolo模型的改進包括以下內容：

對yolov3-tiny增加檢測細小物體的s分支，以改善對攝像頭等小物體的檢測效果；

在上一步模型結構的基礎上，增加SPP、SAM、CAM模塊與殘差連接，改善特征提取能力。