[發明專利]一種基于視覺語言深度融合的多任務冷啟動目標檢測方法

有效

• 申請號: 202210783592.3
• 申請日: 2022-07-06
• 公開（公告）號: CN114863407B
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 趙天成;陸驍鵬;劉鵬
• 申請（專利權）人: 宏龍科技（杭州）有限公司
• 主分類號: G06V20/60
• 分類號: G06V20/60;G06V20/70;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 杭州知見專利代理有限公司 33295
• 代理人: 盧金元

本發明公開了一種基于視覺語言深度融合的多任務冷啟動目標檢測方法，其包括以下步驟：S1、將初始圖像輸入圖像編碼器，在每個輸出層生成低分辨率的視覺特征圖，然后利用FPN對低分辨率的視覺特征圖從上到下聚合信息，輸出一組多尺度視覺特征圖；S2、將任務集輸入到任務編碼器，輸出任務上下文詞嵌入，將任務集輸入到標簽編碼器，輸出標簽上下文詞嵌入；S3、隨機初始化得到可學習建議特征和可學習的建議框；S4、將多尺度視覺特征圖、任務上下文詞嵌入、標簽上下文詞嵌入、可學習建議特征和可學習的建議框輸入到多模態檢測網絡中，得到預測結果。本方案具有較高的識別范圍和較大的擴展能力，適用于計算機目標檢測識別領域。

技術領域

本發明涉及計算機目標檢測技術領域，尤其是涉及一種基于視覺語言深度融合的多任務冷啟動目標檢測方法。

背景技術

目標檢測是計算機視覺的核心基礎任務之一，也就是從輸入圖片中識別畫面中的物體類型和他們的坐標位置。現有目標檢測網絡需要在特定領域數據訓練后才能使用，并且訓練完成后，目標檢檢測模型只能識別訓練數據中出現的物體類型，并且輸出物體類型是固定的。假如需要擴展更多的物體類型，或者修改物體類型列表，必須要采集新的人工標注數據，重新訓練才能進行擴展。因此現有模型識別范圍有限，并且持續迭代成本高。本發明提出了一種新穎的目標檢測模型結構，可以同時從無限個數據集進行學習（即使每個數據集的物體類型完全不同），并且可以在訓練完成后，通過自然語言輸入任意物體類型（即使在訓練中沒有出現過的物體類型），對于輸入的物體類型進行識別。大大提高了目標檢測模型的識別范圍和擴展能力。

發明內容

本發明主要是解決現有技術所存在的識別范圍有限、持續迭代成本高等的技術問題，提供一種具有極高識別范圍、較大擴展能力的基于視覺語言深度融合的多任務冷啟動目標檢測方法。

本發明針對上述技術問題主要是通過下述技術方案得以解決的：一種基于視覺語言深度融合的多任務冷啟動目標檢測方法，包括以下步驟：

S1、將初始圖像輸入圖像編碼器，在每個輸出層生成低分辨率的視覺特征圖，低分辨率即分辨率不超過原始圖像的1/16，一般建議為1/32，然后利用特征金字塔網絡（FPN）對低分辨率的視覺特征圖從上到下聚合信息，輸出一組多尺度視覺特征圖{P₂,P₃,P₄,P₅}；

S2、將任務集輸入到任務編碼器，輸出任務上下文詞嵌入{T₀}，將任務集輸入到標簽編碼器，輸出標簽上下文詞嵌入{L₀}；

S3、隨機初始化得到可學習建議特征{Q₀}和可學習的建議框{B₀}；

S4、將多尺度視覺特征圖{P₂,P₃,P₄,P₅}、任務上下文詞嵌入{T₀}、標簽上下文詞嵌入{L₀}、可學習建議特征{Q₀}和可學習的建議框{B₀}輸入到多模態檢測網絡中，得到預測結果；預測結果通過下文中的｛Q｝、｛B｝、｛C｝等來體現；

多模態檢測網絡包括N個級聯的單元，第i個單元的處理過程如下：

先計算v_i-1，v_i-1=RoiPooler({P₂,P₃,P₄,P₅},{B_i-1})，RoiPooler為區域池化，具體操作如下：