[發明專利]目標檢測與語義分割方法、裝置、設備及存儲介質

在審

• 申請號: 202210964057.8
• 申請日: 2022-08-11
• 公開（公告）號: CN115410167A
• 公開（公告）日: 2022-11-29
• 發明（設計）人: 韓文韜;韓旭
• 申請（專利權）人: 廣州文遠知行科技有限公司
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/82;G06V10/40;G06V20/70;G06V10/26
• 代理公司: 北京市京大律師事務所 11321
• 代理人: 胡安

1.一種目標檢測與語義分割方法，其特征在于，所述目標檢測與語義分割方法包括：

獲取多個相機拍攝的同一幀單目圖像，并對所述單目圖像進行深度標注，得到所述單目圖像對應的深度圖；

根據多個所述相機的相機內參，將所述深度圖中的各像素的圖像坐標轉換至相應的相機坐標系，得到所述深度圖中各像素在所述相機指標系下的多個偽點云；

將多個所述偽點云以及對應的圖像特征轉換至預設的鳥瞰圖坐標系中，得到對應的鳥瞰圖點云和鳥瞰圖特征；

基于所述鳥瞰圖點云和對應的鳥瞰圖特征執行鳥瞰圖視角下的目標檢測和語義分割。

2.根據權利要求1所述的目標檢測與語義分割方法，其特征在于，所述相機內參包括焦距和圖像中心點的坐標，所述焦距包括水平焦距和垂直焦距，所述圖像坐標包括水平圖像坐標、垂直圖像坐標和深度圖像坐標；

所述根據多個所述相機的相機內參，將所述深度圖中的各像素的圖像坐標轉換至相應的相機坐標系，得到所述深度圖中各像素在所述相機指標系下的多個偽點云包括：

根據所述水平圖像坐標、所述水平焦距和所述圖像中心點的坐標計算偽點云在相應的相機坐標系下的水平相機坐標；

根據所述垂直圖像坐標、所述垂直焦距和所述圖像中心點的坐標計算偽點云在相應的相機坐標系下的垂直相機坐標；

將所述深度圖像坐標作為所述偽點云在相應的相機坐標系下的深度相機坐標，并基于所述水平相機坐標、所述垂直相機坐標和所述深度圖像坐標生成各像素對應的偽點云。

3.根據權利要求2所述的目標檢測與語義分割方法，其特征在于，所述深度圖還攜帶有每個像素的置信度，在所述基于所述水平相機坐標、所述垂直相機坐標和所述深度圖像坐標生成各像素對應的偽點云之后，還包括：

判斷所述深度圖中是否存在置信度小于預設置信度閾值的像素；

若存在，則將置信度小于預設置信度閾值的像素對應的偽點云刪除。

4.根據權利要求1-3中任一項所述的目標檢測與語義分割方法，其特征在于，所述將多個所述偽點云以及對應的圖像特征轉換至預設的鳥瞰圖坐標系中，得到對應的鳥瞰圖點云和鳥瞰圖特征包括：

獲取多個所述相機的相機外參；

基于所述相機外參將各單目圖像對應的偽點云轉換至統一的鳥瞰圖坐標系上，得到稠密的鳥瞰圖點云；

根據各單目圖像中各像素與所述偽點云的第一對應關系，將所述像素對應的圖像特征轉換至所述鳥瞰圖坐標系，得到所述鳥瞰圖點云的鳥瞰圖特征。

5.根據權利要求4所述的目標檢測與語義分割方法，其特征在于，所述基于所述相機外參將各單目圖像對應的偽點云轉換至統一的鳥瞰圖坐標系上，得到稠密的鳥瞰圖點云包括：

根據所述相機外參構建所述相機坐標系至所述鳥瞰圖坐標系的轉換矩陣；

根據各相機的轉換矩陣將所有偽點云從對應的相機坐標系轉換至所述鳥瞰圖坐標系中，得到稠密的鳥瞰圖點云。

6.根據權利要求5所述的目標檢測與語義分割方法，其特征在于，所述根據各單目圖像中各像素與所述偽點云的第一對應關系，將所述像素對應的圖像特征轉換至所述鳥瞰圖坐標系，得到所述鳥瞰圖點云的鳥瞰圖特征包括：

根據所述轉換矩陣，確定所述偽點云與所述鳥瞰圖坐標系上的鳥瞰圖格點的第二對應關系；

根據所述第一對應關系和所述第二對應關系，將所述深度圖中各像素對應的圖像特征轉換至所述鳥瞰圖坐標系的鳥瞰圖格點中；

對轉換至所述鳥瞰圖格點中的圖像特征進行柵格化處理，得到鳥瞰圖特征。

7.根據權利要求6所述的目標檢測與語義分割方法，其特征在于，所述對轉換至所述鳥瞰圖格點中的圖像特征進行柵格化處理，得到鳥瞰圖特征包括：

根據所述第一對應關系和所述第二對應關系，判斷所述鳥瞰圖格點是否對應有多個像素；

若存在，則計算相同鳥瞰圖格點中的圖像特征的平均值或確定相同鳥瞰圖格點中的圖像特征中的最大值，并將所述平均值或所述最大值作為所述鳥瞰圖格點的鳥瞰圖特征。