[發明專利]目標檢測與語義分割方法、裝置、設備及存儲介質

在審

• 申請號: 202210964057.8
• 申請日: 2022-08-11
• 公開（公告）號: CN115410167A
• 公開（公告）日: 2022-11-29
• 發明（設計）人: 韓文韜;韓旭
• 申請（專利權）人: 廣州文遠知行科技有限公司
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/82;G06V10/40;G06V20/70;G06V10/26
• 代理公司: 北京市京大律師事務所 11321
• 代理人: 胡安

本發明涉及圖像處理領域，公開了一種目標檢測與語義分割方法、裝置、設備及存儲介質，該方法包括：獲取多個相機拍攝的同一幀單目圖像，并進行深度標注，得到單目圖像對應的深度圖；根據相機內參，將深度圖中的各像素的圖像坐標轉換至相機坐標系，得到深度圖中各像素在相機指標系下的偽點云；對偽點云以及對應的圖像特征轉換至預設的鳥瞰圖坐標系中，得到對應的鳥瞰圖點云和鳥瞰圖特征；基于鳥瞰圖點云和對應的鳥瞰圖特征執行鳥瞰圖視角下的目標檢測和語義分割。本方法在保證安全性的前提下擺脫對于測距傳感器的強依賴，降低了硬件成本，在3D感知任務中有效地利用2D圖像感知任務的結果，提取圖像信息并變換至3D空間，提高感知算法的性能。

技術領域

本發明涉及圖像處理領域，尤其涉及一種目標檢測與語義分割方法、裝置、設備及存儲介質。

背景技術

由于相機的成本低廉且技術成熟，在L2/L3級別的輔助駕駛系統中，為降低傳感器，尤其是配備激光雷達帶來的硬件成本，往往采用多個相機組成的純視覺系統為感知算法提供輸入。而在L4級別的自動駕駛系統中，為了規避單一傳感器在失效情況下導致的單點故障，除基于激光雷達等具備測距能力的傳感器的感知方案外，也需要基于純視覺的方案作為冗余，在激光雷達等傳感器失效時保障感知模塊正常工作，確保自動駕駛系統的安全性。

而在輔助駕駛與自動駕駛系統中，規劃與控制模塊需要依賴感知模塊提供3D空間的檢測結果。為達到穩定輸出、克服單一相機盲區等目的，在純視覺的感知方案中，需要將多個相機組成的環視圖像信息變換至鳥瞰圖坐標系進行處理，因此在輔助駕駛與自動駕駛系統中也需要避免鳥瞰圖對測距傳感器的強依賴。

發明內容

本發明的主要目的在于解決現有的在鳥瞰圖的各類任務中對激光雷達等測距傳感器的強依賴的技術問題。

本發明第一方面提供了一種目標檢測與語義分割方法，包括：獲取多個相機拍攝的同一幀單目圖像，并對所述單目圖像進行深度標注，得到所述單目圖像對應的深度圖；根據多個所述相機的相機內參，將所述深度圖中的各像素的圖像坐標轉換至相應的相機坐標系，得到所述深度圖中各像素在所述相機指標系下的多個偽點云；將多個所述偽點云以及對應的圖像特征轉換至預設的鳥瞰圖坐標系中，得到對應的鳥瞰圖點云和鳥瞰圖特征；基于所述鳥瞰圖點云和對應的鳥瞰圖特征執行鳥瞰圖視角下的目標檢測和語義分割。

可選的，在本發明第一方面的第一種實現方式中，所述相機內參包括焦距和圖像中心點的坐標，所述焦距包括水平焦距和垂直焦距，所述圖像坐標包括水平圖像坐標、垂直圖像坐標和深度圖像坐標；所述根據多個所述相機的相機內參，將所述深度圖中的各像素的圖像坐標轉換至相應的相機坐標系，得到所述深度圖中各像素在所述相機指標系下的多個偽點云包括：根據所述水平圖像坐標、所述水平焦距和所述圖像中心點的坐標計算偽點云在相應的相機坐標系下的水平相機坐標；根據所述垂直圖像坐標、所述垂直焦距和所述圖像中心點的坐標計算偽點云在相應的相機坐標系下的垂直相機坐標；將所述深度圖像坐標作為所述偽點云在相應的相機坐標系下的深度相機坐標，并基于所述水平相機坐標、所述垂直相機坐標和所述深度圖像坐標生成各像素對應的偽點云。

可選的，在本發明第一方面的第二種實現方式中，所述深度圖還攜帶有每個像素的置信度，在所述基于所述水平相機坐標、所述垂直相機坐標和所述深度圖像坐標生成各像素對應的偽點云之后，還包括：判斷所述深度圖中是否存在置信度小于預設置信度閾值的像素；若存在，則將置信度小于預設置信度閾值的像素對應的偽點云刪除。

可選的，在本發明第一方面的第三種實現方式中，所述將多個所述偽點云以及對應的圖像特征轉換至預設的鳥瞰圖坐標系中，得到對應的鳥瞰圖點云和鳥瞰圖特征包括：獲取多個所述相機的相機外參；基于所述相機外參將各單目圖像對應的偽點云轉換至統一的鳥瞰圖坐標系上，得到稠密的鳥瞰圖點云；根據各單目圖像中各像素與所述偽點云的第一對應關系，將所述像素對應的圖像特征轉換至所述鳥瞰圖坐標系，得到所述鳥瞰圖點云的鳥瞰圖特征。