[發明專利]一種改進SMOKE的單目視覺3D車輛目標實時檢測方法

在審

• 申請號: 202210781199.0
• 申請日: 2022-07-01
• 公開（公告）號: CN115082897A
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 楊華;蔣立偉;谷濤濤;檀生輝;吳勇;王東;柴誠;戴興民;伍旭東
• 申請（專利權）人: 西安電子科技大學蕪湖研究院
• 主分類號: G06V20/58
• 分類號: G06V20/58;G06V10/82;G06V10/764;G06V10/46;G06N3/08;G06N3/04
• 代理公司: 蕪湖思誠知識產權代理有限公司 34138
• 代理人: 項磊

1.一種改進SMOKE的單目視覺3D車輛目標實時檢測方法，其特征在于：包括下列步驟：

步驟一、3D車輛數據采集與標定；

步驟二、數據集制作；

步驟三、構建3D車輛目標檢測模型；

該步驟中，3D車輛目標檢測模型為改進SMOKE的目標檢測模型，包括在DLA-34骨干網絡后添加DLAUP與IDAUP形成的DLA-seg骨干網絡，DLA-seg骨干網絡中使用形變卷積和下采樣層組合進行信息提取，并添加注意力機制；

步驟四、檢測模型訓練與推理；

步驟五、將步驟四中最優的模型嵌入實時系統中，并進行實時檢測。

2.根據權利要求1所述的一種改進SMOKE的單目視覺3D車輛目標實時檢測方法，其特征在于：所述步驟三中，在進行檢測框回歸時，改進SMOKE中的損失函數為：其中，L_cls為關鍵點分類損失，為改進后的3D邊界框回歸損失，L_change為改進后的總損失，回歸參數為α和β，z是特征圖的深度偏移；x_c、y_c是表示特征圖的關鍵點x和y坐標方向的偏移量；h、w、l是目標尺寸高寬長對應的殘差，α是目標旋轉角，β為檢測框的航向角，檢測框的航向角通過上述損失函數直接回歸得到。

3.根據權利要求1或2所述的一種改進SMOKE的單目視覺3D車輛目標實時檢測方法，其特征在于：所述步驟三中，采集的圖像數據與標定數據聯合輸入模型后，經骨干網絡處理后實現關鍵點分類，并同時進行3D檢測框的回歸，通過對檢測框的導航角和3D坐標進行回歸，結合分類得到的關鍵點實現對3D檢測框的預測。

4.根據權利要求1或2所述的一種改進SMOKE的單目視覺3D車輛目標實時檢測方法，其特征在于：骨干網絡在DLAUP和IDLAUP部分引入注意力機制，在網絡結構中添加1個通道注意力模塊和1個空間注意力模塊，骨干網絡中Up1模塊在可形變卷積后接入1個通道注意力模塊和1個空間注意力模塊；Up2模塊在可形變卷積后接入1個通道注意力模塊和1個空間注意力模塊。

5.根據權利要求4所述的一種改進SMOKE的單目視覺3D車輛目標實時檢測方法，其特征在于：通道注意力模塊中，輸入特征圖是H×W×C，先分別進行一個全局平均池化和全局最大池化得到兩個1×1×C的特征圖，然后將這兩個特征圖分別送入兩層的全連接神經網絡，對應兩個特征圖的兩層全連接神經網絡是共享參數的，再將得到的兩個特征圖相加，通過激活函數得到歸一化的權重系數，然后權重系數再與輸入特征圖相乘，得到最終輸出特征圖。

6.根據權利要求4所述的一種改進SMOKE的單目視覺3D車輛目標實時檢測方法，其特征在于：空間注意力模塊中，輸入特征圖為H×W×C，分別進行一個通道維度的最大池化和平均池化得到兩個H×W×1的特征圖，然后將這兩個特征圖在通道維度拼接起來，現在特征圖為H×W×2，然后再經過一個卷積層，降為1個通道，同時保持H、W不變，輸出特征圖為H×W×1，然后再通過激活函數生成空間權重系數，然后再與輸入特征圖相乘得到最終特征圖。

7.根據權利要求1或2所述的一種改進SMOKE的單目視覺3D車輛目標實時檢測方法，其特征在于：步驟二中的數據分為標定數據、標簽數據和單目相機RGB圖像，按照9∶1劃分采集到的關聯數據為訓練集和測試集；步驟四中，利用步驟二中數據集進行訓練測試并獲取最優的模型。