[發(fā)明專利]單目?jī)?nèi)窺鏡無監(jiān)督深度和運(yùn)動(dòng)估計(jì)的方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202210014288.2
• 申請(qǐng)日: 2022-01-04
• 公開（公告）號(hào): CN114399527A
• 公開（公告）日: 2022-04-26
• 發(fā)明（設(shè)計(jì)）人: 王涌天;劉詩(shī)源;艾丹妮;宋登攀;楊健
• 申請(qǐng)（專利權(quán)）人: 北京理工大學(xué)
• 主分類號(hào): G06T7/207
• 分類號(hào): G06T7/207;G06T7/50
• 代理公司: 北京市中聞律師事務(wù)所 11388
• 代理人: 馮夢(mèng)洪

1.單目?jī)?nèi)窺鏡無監(jiān)督深度和運(yùn)動(dòng)估計(jì)的方法，其特征在于：該方法包括以下步驟：

(1)獲取密集描述符圖：對(duì)輸入源-目標(biāo)圖像對(duì)進(jìn)行特征匹配，獲得稀疏匹配點(diǎn)對(duì)；通過特征學(xué)習(xí)網(wǎng)絡(luò)獲取輸入圖像對(duì)應(yīng)的密集描述符圖；利用稀疏匹配點(diǎn)對(duì)和密集描述符圖建立相對(duì)響應(yīng)損失；

(2)進(jìn)行深度、位姿估計(jì)：對(duì)特征提取獲得的密集描述符圖執(zhí)行密集特征匹配，獲得N對(duì)密集匹配點(diǎn)對(duì)深度估計(jì)網(wǎng)絡(luò)和位姿估計(jì)網(wǎng)絡(luò)分別獲得輸入圖像的深度圖和相對(duì)位姿；為了給深度和位姿估計(jì)網(wǎng)絡(luò)提供監(jiān)督信號(hào)，描述符圖和密集匹配點(diǎn)對(duì)分別被用于構(gòu)建特征一致性損失和對(duì)極幾何一致性損失。

2.根據(jù)權(quán)利要求1所述的單目?jī)?nèi)窺鏡無監(jiān)督深度和運(yùn)動(dòng)估計(jì)的方法，其特征在于：所述步驟(1)中，采用端到端的特征學(xué)習(xí)網(wǎng)絡(luò)，從源-目標(biāo)輸入內(nèi)窺鏡圖像獲得其對(duì)應(yīng)的描述符圖；特征學(xué)習(xí)網(wǎng)絡(luò)Feat Net由兩個(gè)權(quán)值共享的分支構(gòu)成，網(wǎng)絡(luò)的每一個(gè)分支采用殘差塊進(jìn)行設(shè)計(jì)，其中編碼器由一個(gè)卷積層和9個(gè)ResNet-v2塊組成，從輸入圖像3×H×W經(jīng)過兩次平均池化層下采樣，最終提取特征圖C×H/4×W/4，其中H和W是輸入圖像的高度和寬度，C是提取特征圖的通道數(shù)；解碼器網(wǎng)絡(luò)由三個(gè)卷積層組成，經(jīng)過兩次雙線性上采樣，最終獲得L×H×W的密集特征描述符圖，其中L是密集特征描述符的維數(shù)，L＝32。

3.根據(jù)權(quán)利要求2所述的單目?jī)?nèi)窺鏡無監(jiān)督深度和運(yùn)動(dòng)估計(jì)的方法，其特征在于：所述步驟(1)中，在每一次卷積操作后，采用雙線性插值的方法來保持卷積前后圖像尺寸不變；同時(shí)在解碼器中，采用卷積層和雙線性上采樣層來恢復(fù)圖像尺寸；對(duì)描述符沿著通道進(jìn)行L2歸一化。

4.根據(jù)權(quán)利要求3所述的單目?jī)?nèi)窺鏡無監(jiān)督深度和運(yùn)動(dòng)估計(jì)的方法，其特征在于：所述步驟(1)中，采用內(nèi)窺鏡圖像特征匹配方法獲得相鄰幀之間的稀疏匹配點(diǎn)對(duì)這些稀疏匹配點(diǎn)對(duì)被用于構(gòu)建相對(duì)響應(yīng)損失監(jiān)督網(wǎng)絡(luò)訓(xùn)練，對(duì)于輸入的一對(duì)源圖像I_s和目標(biāo)圖像I_t，特征描述符學(xué)習(xí)網(wǎng)絡(luò)將會(huì)生成其對(duì)應(yīng)的密集特征描述符圖F_s和F_t，輸入圖像和密集描述符圖大小分別為3×H×W和L×H×W，相對(duì)響應(yīng)損失在數(shù)學(xué)上定義為：

其中R_t是響應(yīng)圖，表示F_s(x_s)與F_t上每個(gè)位置的相似度，計(jì)算兩個(gè)描述符之間的歐氏距離平方作為其相似度評(píng)價(jià)指標(biāo)，由于每個(gè)描述符已經(jīng)被歸一化為單位向量，描述符之間的歐式距離平方的計(jì)算簡(jiǎn)化為dist²＝(2-2cos(f₁,f₂))，其中f₁∈F_s,f₂∈F_t，為了避免距離范圍過大，采用將其歸一化到[0,1]，然后對(duì)響應(yīng)圖進(jìn)行softmax操作，同時(shí)，比例因子σ擴(kuò)大了R_t的值域范圍，使網(wǎng)絡(luò)在學(xué)習(xí)的過程中更加關(guān)注相似度較大的區(qū)域，降低除真實(shí)位置的響應(yīng)外的其他較大響應(yīng)，并在一定程度上忽略已經(jīng)存在較大差異的描述符。

5.根據(jù)權(quán)利要求4所述的單目?jī)?nèi)窺鏡無監(jiān)督深度和運(yùn)動(dòng)估計(jì)的方法，其特征在于：所述步驟(1)中，取響應(yīng)圖R_t的最大值位置作為網(wǎng)絡(luò)檢測(cè)到的關(guān)鍵點(diǎn)x_det，對(duì)于k對(duì)稀疏匹配點(diǎn)對(duì)

L_RR＝λ_iL_rr (4)

其中，是對(duì)取平均值，將網(wǎng)絡(luò)檢測(cè)到的關(guān)鍵點(diǎn)和真實(shí)位置的距離，隱式地加權(quán)到相對(duì)響應(yīng)損失中，錯(cuò)誤匹配點(diǎn)對(duì)的權(quán)重將很小，網(wǎng)絡(luò)將優(yōu)化大多數(shù)正確匹配點(diǎn)對(duì)，從而有效避免了錯(cuò)誤匹配點(diǎn)對(duì)的影響，加速網(wǎng)絡(luò)收斂。