[發明專利]一種跨模態融合蒸餾的水面分割方法及系統

在審

• 申請號: 202211022223.9
• 申請日: 2022-08-25
• 公開（公告）號: CN115311545A
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 李小毛;張婧婷;高建燾;彭艷;謝少榮
• 申請（專利權）人: 上海大學
• 主分類號: G06V20/05
• 分類號: G06V20/05;G06V10/26;G06V10/32;G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06T7/80;G06N3/04;G06N3/08
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 萬慧華

1.一種跨模態融合蒸餾的水面分割方法，其特征在于，所述方法包括：

獲取2D圖像數據和3D點云數據；所述2D圖像數據和所述3D點云數據在同一視野內；

利用2D網絡獲取所述2D圖像數據的2D特征圖

根據獲取所述2D圖像數據的相機的內參矩陣和外參矩陣將所述3D點云數據透視投影至2D平面，得到2D平面像素；

利用所述2D平面像素與所述3D點云數據建立點-像素對應關系；

查找所述點-像素對應關系中包含的2D特征圖中的像素，得到包含像素；

將所述包含像素所對應的2D特征提取出來，得到逐點2D特征

利用3D網絡獲取所述3D點云數據的3D特征圖F^3D；

利用點與體素的對應關系在所述3D特征圖F^3D上進行最近鄰插值法計算，得到逐點3D特征

利用MLP網絡將所述逐點2D特征轉換為3D學習者特征

將所述3D學習者特征與所述逐點3D特征拼接融合，得到融合特征

利用2D預測網絡根據所述逐點2D特征進行水面分割預測，并利用分類器得到2D預測分數；

利用3D預測網絡根據所述融合特征進行水面分割預測，并利用分類器得到融合預測分數；

利用KL散度計算所述2D預測分數和所述融合預測分數之間的蒸餾損失；

利用降低所述蒸餾損失的方法調節所述2D預測網絡，得到調節2D預測網絡；

利用所述調節2D預測網絡進行水面預測分割。

2.根據權利要求1所述的跨模態融合蒸餾的水面分割方法，其特征在于，所述利用2D網絡獲取所述2D圖像數據的2D特征圖具體包括：

利用2D網絡提取所述2D圖像數據的多尺度特征；

利用反卷積將所述多尺度特征上采樣至與所述2D圖像數據的分辨率相同，得到2D特征圖

3.根據權利要求1所述的跨模態融合蒸餾的水面分割方法，其特征在于，所述根據獲取所述2D圖像數據的相機的內參矩陣和外參矩陣將所述3D點云數據透視投影至2D平面，得到2D平面像素的計算公式為：

其中，(u_i,v_i)表示2D平面像素坐標，K為相機的內參矩陣，T為相機的外參矩陣，(x_i,y_i,z_i)表示3D點云坐標。

4.根據權利要求1所述的跨模態融合蒸餾的水面分割方法，其特征在于，所述點-像素對應關系為：其中，表示向下取整運算操作，(u_i,v_i)表示2D平面像素坐標，O^pixel表示點-像素對應關系映射圖，N表示3D點的數量。

5.根據權利要求1所述的跨模態融合蒸餾的水面分割方法，其特征在于，在所述將所述包含像素所對應的2D特征提取出來，得到逐點2D特征之后，還包括：

將所述逐點2D特征中的元素進行逐元素累加。

6.根據權利要求1所述的跨模態融合蒸餾的水面分割方法，其特征在于，在所述將所述3D學習者特征與所述逐點3D特征拼接融合，得到融合特征之后，還包括：

將所述融合特征中的元素進行逐元素累加。

7.根據權利要求1所述的跨模態融合蒸餾的水面分割方法，其特征在于，所述利用KL散度計算所述2D預測分數和所述融合預測分數之間的蒸餾損失的計算公式為：

其中，N表示3D點的數量，n是第n個點，D_KL就是指KL散度，S^3D2D表示融合預測分數，S^2D表示2D預測分數。

8.根據權利要求1所述的跨模態融合蒸餾的水面分割方法，其特征在于，所述2D網絡包括：ResNet34編碼器和FCN解碼器。

9.根據權利要求1所述的跨模態融合蒸餾的水面分割方法，其特征在于，所述3D網絡包括：PointNet++編碼器和解碼器。

10.一種跨模態融合蒸餾的水面分割系統，其特征在于，所述系統包括：

數據獲取模塊，用于獲取2D圖像數據和3D點云數據；所述2D圖像數據和所述3D點云數據在同一視野內；

2D特征圖獲取模塊，用于利用2D網絡獲取所述2D圖像數據的2D特征圖

投影模塊，用于根據獲取所述2D圖像數據的相機的內參矩陣和外參矩陣將所述3D點云數據透視投影至2D平面，得到2D平面像素；

點-像素對應關系建立模塊，用于利用所述2D平面像素與所述3D點云數據建立點-像素對應關系；

包含像素查找模塊，用于查找所述點-像素對應關系中包含的2D特征圖中的像素，得到包含像素；

逐點2D特征獲取模塊，用于將所述包含像素所對應的2D特征提取出來，得到逐點2D特征

3D特征圖獲取模塊，用于利用3D網絡獲取所述3D點云數據的3D特征圖F^3D；

逐點3D特征獲取模塊，用于利用點與體素的對應關系在所述3D特征圖F^3D上進行最近鄰插值法計算，得到逐點3D特征

MLP轉換模塊，用于利用MLP網絡將所述逐點2D特征轉換為3D學習者特征

特征拼接模塊，用于將所述3D學習者特征與所述逐點3D特征拼接融合，得到融合特征

2D預測模塊，用于利用2D預測網絡根據所述逐點2D特征進行水面分割預測，并利用分類器得到2D預測分數；

融合預測模塊，用于利用3D預測網絡根據所述融合特征進行水面分割預測，并利用分類器得到融合預測分數；

蒸餾損失計算模塊，用于利用KL散度計算所述2D預測分數和所述融合預測分數之間的蒸餾損失；

2D預測網絡調節模塊，用于利用降低所述蒸餾損失的方法調節所述2D預測網絡，得到調節2D預測網絡；

水面預測分割模塊，用于利用所述調節2D預測網絡進行水面預測分割。