[發明專利]一種圖像中多模態信息融合的行人檢測方法、系統及終端

有效

• 申請號: 202010143425.3
• 申請日: 2020-03-04
• 公開（公告）號: CN111476089B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 張重陽;羅艷
• 申請（專利權）人: 上海交通大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06T7/50
• 代理公司: 上海恒慧知識產權代理事務所(特殊普通合伙) 31317
• 代理人: 徐紅銀

1.一種圖像中多模態信息融合的行人檢測方法，其特征在于，包括：

以水平視角采集到的平視圖作為原始圖像，生成對應的俯視圖；

對所述俯視圖上的每個點進行預測，得到所述俯視圖的行人目標概率以及行人目標框寬度；

對所述平視圖進行處理，得到對應的深度圖，對所述深度圖進行估計得到行人目標框高度；

將得到的所述行人目標框寬度和所述行人目標框高度整合為目標候選框，統一編碼到語義空間，得到平視圖目標候選框特征；

將所述平視圖目標候選框特征通過分類回歸進行目標檢測與定位，得到平視圖行人目標候選框概率及坐標；對所述平視圖以及所述俯視圖的行人目標概率加權平均，作為目標候選框的行人概率，得到最終的行人目標概率值；所述最終的行人目標概率值和平視圖行人目標候選框的坐標即為圖像中需要檢出的行人目標結果。

2.根據權利要求1所述的圖像中多模態信息融合的行人檢測方法，其特征在于，所述以水平視角采集到的平視圖作為原始圖像，生成對應的俯視圖，包括：

真實場景下由與行人目標相近高度部署的攝像頭，以水平視角采集到的平視圖作為原始圖像；

采用兩個生成對抗網絡，將所述平視圖作為輸入圖像送入第一個生成對抗網絡得到虛擬場景圖像；將虛擬場景圖像送入第二個生成對抗網絡得到對應的俯視圖像。

3.根據權利要求2所述的圖像中多模態信息融合的行人檢測方法，其特征在于，得到所述俯視圖的行人目標概率以及行人目標框寬度，包括：

將俯視圖像送入CNN網絡提取特征圖；

將提取的特征圖通過檢測網絡檢測，得到俯視圖像的每個像素點的行人目標概率以及行人目標框寬度。

4.根據權利要求1所述的圖像中多模態信息融合的行人檢測方法，其特征在于，對所述深度圖進行估計得到行人目標框高度，其中：根據深度、行人真實高度與圖像中行人尺寸的數學關系，計算得出不同深度下行人目標框高度；具體為：

所述深度圖中的行人高度Δh為圖像中行人頭部頂點與腳部中心點的距離，即：

Δh＝||d₁-d₂||

其中，d₁＝[u₁,v₁]^T以及d₂＝[u₂,v₂]^T分別表示圖像中行人頭部頂點以及腳部中心點的坐標；

根據所述深度圖中的行人高度Δh、相機內參常量矩陣C、圖像像素點深度信息Z以及行人真實身高ΔH，即可得其對應關系，具體為：

CΔH＝ZΔh；

所述圖像像素點深度信息Z，由深度圖預測網絡VNL預測，其中，預測網絡的輸入為真實場景下的平視圖，即原始圖像；

所述行人真實身高ΔH按概率采樣自數據采集地區居民身高統計數值。

5.根據權利要求1所述的圖像中多模態信息融合的行人檢測方法，其特征在于，將得到的所述行人目標框寬度和所述行人目標框高度整合為目標候選框，是指：根據平視圖與俯視圖的對應關系，結合所述行人目標框寬度和所述行人目標框高度，得到平視圖上的目標候選框，其中，所述平視圖與俯視圖的對應關系包括：

以真實場景平視攝像頭為原點，攝像頭拍攝方向為Z軸，建立真實場景平視坐標系；設該坐標系下行人坐標為(X,Y,Z)，對應平視圖行人坐標(u,v)；以真實場景俯視攝像頭為原點，俯視攝像頭的垂直離地高度H，俯角θ，攝像頭拍攝方向為Z軸，建立真實場景俯視坐標系；設該俯視坐標系下行人坐標為(X′,Y′,Z′)，對應俯視圖行人坐標為(u′,v′)，相機內參常量矩陣C，圖像像素點深度信息Z，則其平視圖與俯視圖對應關系具體為：

[X，Y，Z]^T＝ZC^-1[u，v，1]^T

[u',v',1]^T＝(Z')^-1C[X′，Y′，Z′]^T。