[發明專利]一種帶有雙向連接和遮擋處理的全景分割方法

有效

• 申請號: 202010067124.7
• 申請日: 2020-01-20
• 公開（公告）號: CN111242954B
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 李璽;陳怡峰;藺廣琛
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06T7/194;G06T3/40;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 傅朝棟;張法高

1.一種帶有雙向連接和遮擋處理的全景分割方法，其特征在于，包括以下步驟：

S1.獲取用于訓練全景分割的數據集，并定義算法目標；

S2.使用全卷積網絡對數據集中的圖像進行特征提取后得到其特征圖；

S3.使用語義特征提取網絡對特征圖提取語義特征；

S4.使用實例特征提取網絡對特征圖提取實例特征；

S5.建立實例分割到語義分割的連接，將語義特征與實例特征聚合進行語義分割；

S6.建立語義分割到實例分割的連接，將實例特征與語義特征聚合進行實例分割；

S7.使用遮擋處理算法，融合語義分割和實例分割的結果，輸出全景分割結果；

步驟S4中所述的提取實例特征具體包含以下子步驟：

S41.使用一個區域提取網絡來檢測圖像中的實例集合O，得到O＝{O₁，...，O_k}，其中O_i表示檢測到的第i個實例，i∈[1，k]，k為檢測到的實例總數量；

S42.對檢測到的每個實例O_i，計算其包圍框B_i；

S43.使用實例特征提取網絡ζ提取實例特征，即輸入S2中提取的特征圖F和實例O_i的包圍框B_i，提取其實例特征I_i＝ζ(F，B_i)＝ζ(φ(I)，B_i)；

步驟S5中所述的建立實例分割到語義分割的連接具體步驟如下：

S51.使用可微分操作RoIInlay恢復S4中提取的實例特征的空間信息F_I：

F_I＝RoIInlay(I₁，...，I_k，B₁，...，B_k)；

其中可微分操作RoIInlay的具體操作如下：對于一個左上角坐標為(a，b)且大小為h×w的實例，假設其經過裁剪和變形后得到m×m的特征圖，該特征圖上每一個點(u，v)都采樣自原特征圖的一個位置(x，y)：

即m×m特征圖上點(u，v)處的值對應原特征圖上點(x，y)的值v(x，y)，因此對位于目標區域內的任意一個點(x_p，y_p)，找到包圍它的四個采樣點，記為集合C，通過雙線性插值得到(x_p，y_p)點處的值

其中G_w和G_h是在采樣點的相對坐標系下的插值函數：

式中：參數參數

對于在目標區域內但超出采樣點邊界的值，其采樣點會被拉至目標邊界處；

S52.將F_I與步驟S3中提取的語義特征S聚合后得到的特征用于預測語義分割結果；其中特征聚合的具體操作如下：首先將F_I與S在通道維度上拼接后形成一個新特征，然后將其經過1層3×3卷積處理以消除RoIInlay造成的變形；隨后將這個特征經過多尺度的池化操作后分別得到8×8，4×4，2×2，1×1大小的對場景的描述；最后將這些描述進行拉平并拼接，將拼接后的特征與原始特征在每個像素點上拼接，并經過一個1×1的卷積處理后得到聚合后的特征；

步驟S6所述的建立語義分割到實例分割的連接具體操作如下：首先使用RoIAlign操作從語義特征S中得到實例O_i對應的語義特征然后將經過一個3×3卷積處理后與實例特征I_i相加得到聚合后的特征用于預測實例的分割結果，分割結果包括實例的位置、類別和分割圖。

2.如權利要求1所述的一種帶有雙向連接和遮擋處理的全景分割方法，其特征在于步驟S1所述的算法目標為：對用于全景分割的數據集中的每一張圖片I，對于I中出現的背景像素，識別其所屬的語義類別；對于I中出現的前景像素，識別其所屬的語義類別和所屬實例。

3.如權利要求2所述的一種帶有雙向連接和遮擋處理的全景分割方法，其特征在于步驟S2中使用一個全卷積神經網絡φ對圖像中的每一個像素提取特征，得到該圖像的特征圖F＝φ(I)。