[發(fā)明專利]時(shí)頻域聯(lián)合全景分割方法、系統(tǒng)和介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110617605.5
• 申請(qǐng)日: 2021-06-03
• 公開(kāi)（公告）號(hào): CN113536904B
• 公開(kāi)（公告）日: 2023-08-25
• 發(fā)明（設(shè)計(jì)）人: 楊大偉;任鳳至;毛琳;張汝波
• 申請(qǐng)（專利權(quán)）人: 大連民族大學(xué)
• 主分類號(hào): G06V20/56
• 分類號(hào): G06V20/56;G06V10/26;G06V10/80;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 大連星河彩舟專利代理事務(wù)所(普通合伙) 21263
• 代理人: 劉斌

1.一種時(shí)頻域聯(lián)合全景分割方法，其特征在于，包括如下步驟：

輸入圖像，

響應(yīng)于輸入圖像，時(shí)頻域聯(lián)合全景分割卷積神經(jīng)網(wǎng)絡(luò)執(zhí)行分割步驟，

獲取全景風(fēng)格，所述獲取全景風(fēng)格包括步驟：將得到的前景分割結(jié)果和背景分割結(jié)果傳遞到全景融合網(wǎng)絡(luò)得到全景分割結(jié)果；

所述分割包括如下步驟：

第1步：讀取數(shù)據(jù)集圖像，得到四層殘差特征；

第2步：對(duì)所述四層殘差特征實(shí)施高低頻特征分離，得到高頻特征和低頻特征；對(duì)所述四層殘差特征實(shí)施實(shí)例特征和語(yǔ)義特征分離，得到實(shí)例特征和語(yǔ)義特征；

第3步：高頻特征、低頻特征、實(shí)例特征和語(yǔ)義特征分配乘積系數(shù)，得到時(shí)頻域特征組合；

第4步：將時(shí)頻域特征組合進(jìn)行拆分，分別送入前景分割網(wǎng)絡(luò)、背景分割網(wǎng)絡(luò)，進(jìn)行分割預(yù)測(cè)，得到前景分割結(jié)果和背景分割結(jié)果；

其中：

所述分割包步驟中第1步具體為讀取數(shù)據(jù)集圖像，經(jīng)由預(yù)處理結(jié)構(gòu)得到四層殘差特征R(R₁,R₂,R₃,R₄)；

所述分割包步驟中第2步具體為在頻域變換網(wǎng)絡(luò)中，對(duì)四層殘差特征R(R₁,R₂,R₃,R₄)進(jìn)行必要的特征維度調(diào)整后，實(shí)施高低頻特征分離，得到高頻特征H(H₁,H₂,H₃,H₄)和低頻特征L(L₁,L₂,L₃,L₄)；在時(shí)域變換網(wǎng)絡(luò)中，對(duì)所述四層殘差特征R(R₁,R₂,R₃,R₄)進(jìn)行必要的特征維度調(diào)整后，實(shí)施實(shí)例特征和語(yǔ)義特征分離，得到實(shí)例特征I(I₁,I₂,I₃,I₄)和語(yǔ)義特征S(S₁,S₂,S₃,S₄)；

所述分割包步驟中第3步具體為將得到的高頻特征H、低頻特征L、實(shí)例特征I和語(yǔ)義特征S傳遞到時(shí)頻域聯(lián)合網(wǎng)絡(luò)分配乘積系數(shù)，得到時(shí)頻域特征組合{a*H,b*L,c*I,d*S}，高頻特征的系數(shù)為a，0≦a≦1，低頻特征的系數(shù)為b，0≦b≦1，實(shí)例特征的系數(shù)為c，0≦c≦1，語(yǔ)義特征的系數(shù)為d，0≦d≦1；

所述分割包步驟中第4步具體為將第3步得到的時(shí)頻域特征組合進(jìn)行拆分，將{a*H,c*I}送入前景分割網(wǎng)絡(luò)，a+c＝1、將{b*L,d*S}送入背景分割網(wǎng)絡(luò)，b+d＝1，進(jìn)行分割預(yù)測(cè)，得到前景分割結(jié)果和背景分割結(jié)果；

其中：

高頻特征H(H₁,H₂,H₃,H₄)：

低頻特征L(L₁,L₂,L₃,L₄)：

實(shí)例特征I(I₁,I₂,I₃,I₄)：

語(yǔ)義特征S(S₁,S₂,S₃,S₄)：

在公式(7)～(22)中，F(xiàn)_r(k*k)表示卷積核為k*k、擴(kuò)張率為r的卷積，F(xiàn)^-1(k*k)表示卷積核為k*k的反卷積，U(n)表示擴(kuò)大n倍的雙線性插值，表示特征向量X的通道數(shù)為a、長(zhǎng)為b、寬為c，A＝{F,F^-1,U}，表示經(jīng)過(guò)A＝{F,F^-1,U}的計(jì)算后，特征向量的通道數(shù)由h₁變?yōu)閔₂、長(zhǎng)l、寬w沒(méi)有變化；表示經(jīng)過(guò)A＝{F,F^-1,U}的計(jì)算后，特征向量的通道數(shù)h沒(méi)有變化、長(zhǎng)由l₁變?yōu)閘₂、寬由w₁變?yōu)閣₂。