[發(fā)明專利]一種增強可靠性的單目視覺定位方法

有效

• 申請?zhí)枺?/td>: 202011522140.7
• 申請日: 2020-12-21
• 公開（公告）號: CN112489119B
• 公開（公告）日: 2023-01-31
• 發(fā)明（設計）人: 百曉;張鵬程;張亮;王欣;劉祥龍
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/80;G06N3/08;G06N3/04;G06V10/80;G06V10/82;G06V10/774
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗;鄧治平

1.一種基于增強可靠性的單目視覺定位方法，其特征在于，包括以下步驟：

(1)通過34層的殘差卷積神經(jīng)網(wǎng)絡模型即ResNet34的全卷積層對輸入圖像提取特征圖；

(2)采用一種多層融合的雙線性模型從特征圖中進行特征嵌入得到特征向量；

(3)使用一個可靠性感知的姿態(tài)回歸層，從特征向量隨機采樣t組特征向量并輸入到全連接的回歸層輸出t組3維向量和t組4維向量，計算t組向量的均值和協(xié)方差得到3維均值向量、4維均向量值、維度為3x3的協(xié)方差矩陣和維度為4x4的協(xié)方差矩陣，3維均值向量和4維均值向量作為分別表示拍攝圖像的相機在場景中的位置和朝向，3x3協(xié)方差的跡為位置的不確定度，4x4協(xié)方差的跡為朝向的不確定度；此外，根據(jù)單位四元數(shù)的定義，對表示相機朝向的4維向量最后需要進行L2-Normalize操作使得4維向量的2范數(shù)為1，完成視覺定位任務；

所述步驟(2)具體實現(xiàn)包括：

引入雙線性池化技術進行特征增強，雙線性池化通過計算來自CNN的特征圖的外積來形成全局特征向量；為了降低參數(shù)量并防止過擬合,使用一種分解的雙線性池化：

其中，x是CNN輸出的特征圖，z是雙線性池化從特征圖x聚合得到的特征向量，U,V為低秩投影矩陣，將分解的雙線性特征聚合方法應用于兩種不同特征的融合，提出一個多層融合的雙線性模型，多層融合的雙線性模型通過將ResNet34最后殘差塊conv5_3輸出的雙線性特征與前兩個殘差塊conv5_1和conv5_2輸出的特征進行雙線性融合得到多層融合的雙線性特征；利用最后一層的雙線性特征與相對淺層的特征進行雙線性特征融合以保證能夠學習到更多與任務相關的特征；最后使用一個投影矩陣將融合特征投影到特定維度的特征空間,用于相機姿態(tài)回歸，完整的多層融合的雙線性模型寫成：

其中，χ,γ,分別是ResNet34最后三個殘差塊conv5_3、conv5_2和conv5_1輸出的特征圖，P是用于特征嵌入的投影矩陣，concat表示級聯(lián)操作，U，V，S，D分別是特征圖的投影矩陣，利用多層雙融合的線性模型從特征圖中嵌入得到特征向量。

2.根據(jù)權利要求1所述的一種基于增強可靠性的單目視覺定位方法，其特征在于，所述步驟(1)具體實現(xiàn)過程包括：

首先對輸入圖像進行預處理,即將輸入圖像所有像素值除以255,使得所有像素值的取值范圍為[0,1],然后減去從ImageNet數(shù)據(jù)集上計算的均值，再除以從ImageNet數(shù)據(jù)集上計算的方差,最后將輸入圖像的大小調整為256x256輸入到特征提取網(wǎng)絡中，使用去除全局平均池化和Softmax分類層的ResNet34作為特征提取網(wǎng)絡，256x256輸入圖像經(jīng)過第一個卷積層conv1輸出128x128特征圖，后續(xù)四個卷積層conv2-5由基礎殘差塊串聯(lián)組成，基礎殘差塊是由兩個3x3卷積組成的殘差塊，卷積層conv2包含兩個基礎殘差塊，輸入128x128的特征圖輸出64x64特征圖，卷積層conv3包含四個基礎殘差塊，輸入64x64的特征圖輸出32x32特征圖，卷積層conv4包含六個基礎殘差塊，輸入32x32的特征圖輸出16x16特征圖，卷積層conv5包含四個基礎殘差塊，輸入16x16的特征圖輸出8x8特征圖。