[發(fā)明專利]一種跨模態(tài)融合蒸餾的水面分割方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202211022223.9
• 申請日: 2022-08-25
• 公開（公告）號: CN115311545A
• 公開（公告）日: 2022-11-08
• 發(fā)明（設計）人: 李小毛;張婧婷;高建燾;彭艷;謝少榮
• 申請（專利權）人: 上海大學
• 主分類號: G06V20/05
• 分類號: G06V20/05;G06V10/26;G06V10/32;G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06T7/80;G06N3/04;G06N3/08
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 萬慧華

本發(fā)明涉及一種跨模態(tài)融合蒸餾的水面分割方法及系統(tǒng)，屬于計算機視覺技術領域，首先建立點?像素對應關系，并根據(jù)此關系是否包含2D像素來提取2D特征，得到逐點2D特征；再利用最近鄰插值法對3D特征圖進行計算，得到逐點3D特征；將二者融合得到融合特征；利用逐點2D特征進行水面分割預測得到2D預測分數(shù)；利用融合特征進行水面分割預測得到融合預測分數(shù)；計算2D預測分數(shù)和融合預測分數(shù)之間的蒸餾損失；最后利用降低蒸餾損失的方法調(diào)節(jié)2D預測網(wǎng)絡，得到調(diào)節(jié)2D預測網(wǎng)絡；利用調(diào)節(jié)2D預測網(wǎng)絡進行水面預測分割。本發(fā)明利用跨模態(tài)融合蒸餾方法來遷移復雜網(wǎng)絡所學到的知識，簡化網(wǎng)絡，降低計算量且不影響分割效果。

技術領域

本發(fā)明涉及計算機視覺技術領域，特別是涉及一種基于LiDAR點云輔助圖像跨模態(tài)融合蒸餾的水面分割方法及系統(tǒng)。

背景技術

無人艇具有風險低、靈活性高等特點，在水面上執(zhí)行費力和危險的任務，具有很大的應用價值，比如海上監(jiān)測、應急救援、災害搜索等。對水面區(qū)域進行準確分割，為無人艇的自主安全航行提供了主要保障。為了提高船舶和人員安全性，針對無人艇水面分割方法的研究將是必不可少的。

水面分割任務適用于理解大規(guī)模戶外場景，旨在對圖像的像素級做處理，將無人艇航行的區(qū)域分割為水面區(qū)域和非水面區(qū)域，這樣可以有效的限制檢測算法的范圍，更好的檢測水面和非水面的其他目標，增加檢測準確性，確保無人艇的航行安全。過去幾年里，人們專注于用相機圖像或激光雷達點云作為輸入進行水面分割。但由于每種傳感器自身的限制，僅使用單傳感器的方法在復雜的環(huán)境中易受到影響和挑戰(zhàn)。具體而言，相機傳感器采集的圖像可以提供豐富的顏色、紋理等信息，但缺少深度方面的信息，且易受光照和天氣的影響。比如，強光線在水面上出現(xiàn)反射情況，會導致相機收集到很多眩光圖像，影響水面分割效果。與圖像信息相比，激光雷達傳感器收集的點云則對深度具有很好的感應，同時對光照和天氣等影響因素具有魯棒性，但缺乏圖像所具備的顏色、紋理等豐富信息。因此，有研究提出可以用激光雷達點云輔助相機圖像，將兩者融合的方法來感知環(huán)境，提高分割算法的性能。

然而，現(xiàn)有的融合方法網(wǎng)絡十分復雜，同時處理圖像和點云的計算負擔重。因此，本領域亟需一種計算量小同時又能夠保證分割精度的技術方案。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種跨模態(tài)融合蒸餾的水面分割方法及系統(tǒng)，利用跨模態(tài)融合蒸餾方法來遷移復雜網(wǎng)絡所學到的知識，簡化網(wǎng)絡，降低計算量且不影響分割效果，有效解決了現(xiàn)有技術中融合方法網(wǎng)絡十分復雜，同時處理圖像和點云的計算負擔重的問題。

為實現(xiàn)上述目的，本發(fā)明提供了如下方案：

一種跨模態(tài)融合蒸餾的水面分割方法，所述方法包括：

獲取2D圖像數(shù)據(jù)和3D點云數(shù)據(jù)；所述2D圖像數(shù)據(jù)和所述3D點云數(shù)據(jù)在同一視野內(nèi)；

利用2D網(wǎng)絡獲取所述2D圖像數(shù)據(jù)的2D特征圖

根據(jù)獲取所述2D圖像數(shù)據(jù)的相機的內(nèi)參矩陣和外參矩陣將所述3D點云數(shù)據(jù)透視投影至2D平面，得到2D平面像素；

利用所述2D平面像素與所述3D點云數(shù)據(jù)建立點-像素對應關系；

查找所述點-像素對應關系中包含的2D特征圖中的像素，得到包含像素；

將所述包含像素所對應的2D特征提取出來，得到逐點2D特征

利用3D網(wǎng)絡獲取所述3D點云數(shù)據(jù)的3D特征圖F^3D；

利用點與體素的對應關系在所述3D特征圖F^3D上進行最近鄰插值法計算，得到逐點3D特征

利用MLP網(wǎng)絡將所述逐點2D特征轉(zhuǎn)換為3D學習者特征

將所述3D學習者特征與所述逐點3D特征拼接融合，得到融合特征