[發明專利]基于無監督深度學習的RGB-D室內無人機定位實現方法

在審

• 申請號: 202011472136.4
• 申請日: 2020-12-14
• 公開（公告）號: CN112489128A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 徐一鳴;王栗;張海東;劉若雨;顧皓;祁暉;華亮;顧菊平;周方杰
• 申請（專利權）人: 南通大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/10;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 徐激波

1.基于無監督深度學習的RGB-D室內無人機定位實現方法，其特征在于，包括以下步驟：

步驟1：拍攝用于神經網絡訓練的RGB-D數據集，并對數據作初步處理；

步驟2：搭建無監督RCNN網絡，提取圖像特征，進而輸出相機位姿；

步驟3：設計損失函數。

2.根據權利要求1所述的基于無監督深度學習的RGB-D視覺里程計實現方法，其特征在于，所述的步驟1的具體實施方法為：

步驟1.1：利用室內無人機拍攝用于神經網絡訓練的RGB-D數據集；

步驟1.2：采用以下3種方法拓展數據集的大小，①在一定范圍內隨機調整初始數據集中圖片的亮度；②在一定范圍內隨機對圖像的寬和高進行拉伸，然后裁剪成標準圖像；③在一定范圍內將圖像繞其中心隨機旋轉；

步驟1.3：對數據作初步處理，首先將RGB圖像按其紅色通道、綠色通道、藍色通道分解，然后將深度圖像復制成對應的3通道，最后將圖像調整為標準大小416×128，每一幀RGB-D圖像就會形成416×128×3的RGB圖像和416×128×3的深度圖像。

3.根據權利要求1所述的基于無監督深度學習的RGB-D室內無人機定位實現方法，其特征在于，所述的步驟2的具體實施方法為：

步驟2.1：搭建CNN網絡，用于提取圖像的特征，每次被提取的圖像為相鄰兩幀的RGB-D圖像，其為416×128×6的RGB圖像和416×128×6的深度圖像；

步驟2.2：每次輸入的RGB圖像與深度圖像分別經過RGB流和深度流，形成雙流結構，經過CNN網絡分別輸出4×1×512的RGB特征與深度特征；

步驟2.3：為了將CNN輸出的特征作為RNN的輸入，將4×1×512的RGB特征與深度特征分別平鋪為2048維特征向量；

步驟2.4：對RGB 2048維特征向量與深度2048維特征向量進行整合，首先使用一個連接層將RGB和深度圖像特性連接在一起，接著用一個全連接層來平衡這兩個特性的權重；

步驟2.5：搭建RNN網絡，用于相機位姿的輸出，即平移和旋轉矩陣的輸出，使用長短時記憶LSTM來代替標準的RNN，以避免長期依賴問題，LSTM由一個單元和三個調節器組成，即輸入、輸出和遺忘門；細胞在一定的時間間隔內記憶數值，三個門控制信息進出細胞；

步驟2.6：再使用一個全連接層，利用旋轉與平移相比是高度非線性的特點，輸出旋轉向量和平移向量。

4.根據權利要求1所述的基于無監督深度學習的RGB-D室內無人機定位實現方法，其特征在于，所述的步驟2的具體實施方法為：

步驟3.1：設計損失函數，損失函數包括2D損失函數和3D損失函數兩個部分；

步驟3.2：2D損失函數的計算公式如(1)所示：

式中，I_t為t時刻的RGB圖像，I_t+1為t+1時刻的RGB圖像，是根據神經網絡輸出的平移與旋轉矩陣結合I_t+1得出的t時刻的RGB圖像，是根據神經網絡輸出的平移與旋轉矩陣結合I_t得出的t+1時刻的RGB圖像，L_2D為2D損失函數；

步驟3.3：3D損失函數的計算公式如(2)所示：

式中，C_t為t時刻的點云圖，C_t+1為t+1時刻的點云圖，是根據神經網絡輸出的平移與旋轉矩陣結合C_t+1得出的t時刻的點云圖，是根據神經網絡輸出的平移與旋轉矩陣結合C_t得出的t+1時刻的點云圖，L_3D為3D損失函數；

步驟3.4：損失函數的計算公式如(3)所示：

L＝λ_2DL_2D+λ_3DL_3D (3)

式中，L_2D、L_3D分別為2D、3D損失函數。λ_2D、λ_3D分別為2D損失函數、3D損失函數所占的權重，L為總的損失函數。