[發明專利]訓練多任務目標檢測模型、多任務目標檢測的方法及系統

有效

• 申請號: 202010005916.1
• 申請日: 2020-01-03
• 公開（公告）號: CN111222454B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 鄭文勇;葉佳全;陳添水
• 申請（專利權）人: 暗物智能科技(廣州)有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V40/10;G06V40/20;G06V10/25;G06V10/774
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 李紅團

本發明公開了一種訓練多任務目標檢測模型、多任務目標檢測的方法及系統，訓練方法包括：利用標注好邊框和類型標簽的訓練集訓練主干網絡；將該主干網絡作為檢測模型的基礎網絡，利用多尺度特征圖、標注邊界框及類型標簽對檢測模型進行訓練得到訓練好的檢測枝干，同時微調主干網絡；利用微調后的主干網絡提取全圖特征，使用目標對象特征提取模塊結合標注的真實邊界框在全圖特征上提取目標特征圖；利用對象特征圖及分類標簽訓練不同任務模塊。本發明利用同任務的主干網絡提取出的全圖特征，避免重復特征抽取，提高運算效率；利用不同子任務的數據訓練主干網絡提高特征的表達能力，在不損失精度的同時減少總參數量和計算量有助于子任務準確率的提升。

技術領域

本發明涉及目標檢測領域，具體涉及一種訓練多任務目標檢測模型、多任務目標檢測的方法及系統。

背景技術

目標檢測作為計算機視覺領域的基本任務之一，擁有廣大的應用前景。其中，最經典的網絡模型當屬R-CNN。R-CNN將目標檢測任務分為兩個階段，預先提取一系列較可能是物體的候選區域，之后僅在這些候選區域上提取特征，進行分類判斷。隨后的Fast?R-CNN和Faster?R-CNN在其基礎上進行了多方面優化，檢測速度顯著提升。然而這種兩階段檢測算法在速度上仍然不能滿足實時性的要求，由此以YOLO和SSD為代表的單階段檢測算法誕生。YOLO首次將物體檢測當作回歸問題求解，基于一個端到端的網絡，經過一次推理便能得到所有物體的位置和類別信息。SSD結合了YOLO中的回歸思想和Faster?R-CNN的區域生成網絡中錨定框機制，使用多尺度特征進行回歸，解決了YOLO中小物體檢測效果不好的問題，保證了窗口預測的準確性，同時維持了YOLO速度快的特性。

現有的多任務深度學習方法，多為對每個任務單獨設計一個深度卷積網絡結構，輸入圖片，輸出對應標簽或關鍵點位置信息。然而現有的方法具有以下問題：每個任務獨立一個深度卷積網絡，網絡間沒有共享的參數，總參數量和計算量大，模型推理耗時長。

發明內容

因此，本發明提供的一種訓練多任務目標檢測模型、多任務目標檢測的方法及系統，克服了現有技術中的目標檢測模型總參數量和計算量大，模型推理耗時長缺陷。

第一方面，本發明實施例提供訓練多任務目標檢測模型的方法，包括如下步驟：利用標注好邊框和對應目標類型標簽的訓練數據集及對主干網絡進行訓練，得到訓練好的主干網絡；利用訓練好的主干網絡作為檢測模型的基礎網絡，利用圖片的多尺度特征圖、標注邊界框以及對應目標類型標簽對檢測模型進行訓練，得到訓練好的檢測枝干，同時微調主干網絡；利用微調后的主干網絡提取訓練數據集的全圖特征，使用目標對象特征提取模塊結合標注的真實邊界框在全圖特征上提取目標對象特征圖；針對不同檢測任務，分別設置輕量化的深度卷積網絡作為任務模塊，利用所述目標對象特征圖以及標注好的對應不同任務不同目標的分類標簽，依次訓練不同任務模塊，得到訓練好的任務模塊；將所述訓練好的主干網絡、檢測枝干及任務模塊組成所述多任務目標檢測模型。

在一實施例中，若圖片中出現多個不同目標對象，則對圖片進行拷貝，拷貝次數等于圖片中出現的目標類型個數，拷貝后的每張圖片分別標注不同目標類型標簽，全部用于主干網絡的訓練。

在一實施例中，根據訓練數據集標注的邊界框與圖片大小的關系設置不同尺度特征圖使用的錨框，將標注好邊界框和對應目標類型標簽的訓練數據集輸入到訓練好的主干網絡中得到圖片的多尺度特征圖。

在一實施例中，所述利用標注好邊框和對應目標類型標簽的訓練數據集及對主干網絡進行訓練，得到訓練好的主干網絡的步驟之前，還包括：獲取多任務目標檢測任務中需要進行檢測的目標對象，針對不同的檢測對象標注不同的目標類別標簽，并定義標注規則；在圖片集上使用邊界框標注所有任務關注的目標對象，標記對應的目標類型標簽。

在一實施例中，檢測的目標對象包括：人物頭部和手部，檢測任務包括：人物的表情、頭部朝向以及手勢姿態。