[發(fā)明專利]結(jié)合目標(biāo)檢測和語義分割的圖像配準(zhǔn)方法

有效

• 申請?zhí)枺?/td>: 201910203512.0
• 申請日: 2019-03-18
• 公開（公告）號: CN110097584B
• 公開（公告）日: 2021-11-09
• 發(fā)明（設(shè)計）人: 王文;陳彤;湯億則;王紅凱;周晨軼;徐亦白;盧杉;包迅格
• 申請（專利權(quán)）人: 國網(wǎng)浙江省電力有限公司信息通信分公司
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06T7/10
• 代理公司: 杭州華鼎知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 33217
• 代理人: 魏亮

1.結(jié)合目標(biāo)檢測和語義分割的圖像配準(zhǔn)方法，其特征在于，所述圖像處理方法，包括：

從傳感器數(shù)據(jù)中獲取待處理圖像，借助實時目標(biāo)檢測算法截取待處理圖像中的關(guān)鍵區(qū)域；

對關(guān)鍵區(qū)域中進(jìn)行尺度不變特征變換，得到關(guān)鍵區(qū)域中的特征點；

基于語義信息對關(guān)鍵區(qū)域進(jìn)行語義分割，實現(xiàn)將關(guān)鍵區(qū)域中的特征點進(jìn)行歸類，定義針對每一類語義信息項誤差函數(shù)，結(jié)合視覺里程計原有框架中的誤差函數(shù)得到總體誤差函數(shù)；

對總體誤差函數(shù)進(jìn)行基于似然域模型的優(yōu)化處理，當(dāng)誤差最小時完成圖像配準(zhǔn)；

所述基于語義信息對關(guān)鍵區(qū)域進(jìn)行語義分割，實現(xiàn)將關(guān)鍵區(qū)域中的特征點進(jìn)行歸類，定義針對每一類語義信息項誤差函數(shù)，結(jié)合視覺里程計原有框架中的誤差函數(shù)得到總體誤差函數(shù)，包括：

截取出的關(guān)鍵區(qū)域進(jìn)行語義分割，將關(guān)鍵區(qū)域上的每個像素點將被歸入一個類別；

根據(jù)關(guān)鍵區(qū)域中的像素點進(jìn)行地圖重建，將重建得到的地圖點與已有類別語義關(guān)聯(lián)；

定義語義項目誤差函數(shù)的表達(dá)式

式中e_sem(k,i)表征了第i個地圖點,在優(yōu)化過程中的第k個位姿下，映射在相應(yīng)語義圖上的誤差函數(shù)；

結(jié)合已有誤差函數(shù)可以得到總體誤差函數(shù)表達(dá)式

其中，E_sem代表語義項目誤差函數(shù)，E_base代表所有點在對應(yīng)位姿下的重投影誤差之和，λ是權(quán)重系數(shù)。

2.根據(jù)權(quán)利要求1所述的結(jié)合目標(biāo)檢測和語義分割的圖像配準(zhǔn)方法，其特征在于，所述獲取待處理圖像，借助實時目標(biāo)檢測算法截取待處理圖像中的關(guān)鍵區(qū)域，包括：

從待處理圖像中提取兩張相鄰幀圖像；

將兩張相鄰幀圖像進(jìn)行基于YOLO算法的目標(biāo)檢測；

以檢測到的關(guān)鍵目標(biāo)為中心，將區(qū)域邊界的寬高尺寸分別擴(kuò)大一倍，擴(kuò)大后的邊界限定的區(qū)域為關(guān)鍵區(qū)域。

3.根據(jù)權(quán)利要求1所述的結(jié)合目標(biāo)檢測和語義分割的圖像配準(zhǔn)方法，其特征在于，所述對總體誤差函數(shù)進(jìn)行基于似然域模型的優(yōu)化處理，當(dāng)誤差最小時完成圖像配準(zhǔn)，包括：

構(gòu)建似然域模型表達(dá)式，基于似然域模型表達(dá)式構(gòu)建總體語義誤差函數(shù)

式中，為地圖點P_i屬于語義類別c的概率，S_k為相鄰幀圖像中的語義分割結(jié)果，T_k為當(dāng)前幀位姿，X_i為地圖點坐標(biāo)，Z_i則表征了地圖點的具體語義類別，π(T_k,X_i)代表了投影過程，p為地圖點投影到當(dāng)前幀，得到的像素坐標(biāo)結(jié)果，是度量函數(shù)，計算了投影點p到最近的語義c區(qū)域的距離，σ描述了不確定度；

對總體語義誤差函數(shù)進(jìn)行基于EM優(yōu)化算法的優(yōu)化求解。

4.根據(jù)權(quán)利要求3所述的結(jié)合目標(biāo)檢測和語義分割的圖像配準(zhǔn)方法，其特征在于，所述對總體語義誤差函數(shù)進(jìn)行基于EM優(yōu)化算法的優(yōu)化求解，包括：

對于所有觀測到該地圖點P_i的圖像，有如下權(quán)重公式：

其中α為歸一化系數(shù)，具體EM優(yōu)化算法，按照如下步驟完成：

在E-Step中，保持P_i和T_k不變，通過權(quán)重公式計算

在M-Step中，保持不變，優(yōu)化坐標(biāo)點P_i和相機(jī)姿態(tài)T_k；

由于e_sem(k,i)的稀疏性，M步驟可以快速實現(xiàn)。