[發明專利]基于深度學習的無監督端到端的駕駛環境感知方法

有效

• 申請號: 201911345900.9
• 申請日: 2019-12-24
• 公開（公告）號: CN111105432B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 陳宗海;洪洋;王紀凱;戴德云;趙皓;包鵬;江建文
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06T7/215
• 分類號: G06T7/215;G06T7/269;G06N3/0464;G06N3/0442;G06N3/08
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;鄭哲

1.一種基于深度學習的無監督端到端的駕駛環境感知方法，其特征在于，包括：

利用雙目相機進行圖像采集，并通過預處理獲得訓練數據；

利用訓練數據中兩個連續的大小相同的立體圖像對訓練光流估計網絡、位姿估計網絡、深度估計網絡以及運動分割；

訓練完畢后，對于新輸入的兩個連續的大小相同的立體圖像對利用三個網絡的輸出結果進行剛性配準，來優化位姿估計網絡的輸出；利用深度估計網絡的輸出，以及優化后的位姿估計網絡的輸出計算由攝像機運動引起的剛性流，并與光流估計網絡的輸出進行流一致性檢查，從而進行運動分割；

其中，利用雙目相機進行圖像采集，并通過預處理獲得訓練數據包括：首先，對雙目相機采集到的原始圖像進行縮放，并且相應的相機內參也同時進行縮放；然后，通過數據增強方法，產生訓練數據；所述數據增強方法，包括使用如下一種或多種方式進行數據增強：使用亮度因子γ對輸入的單目圖像進行隨機校正；按比例因子s_x和s_y沿X軸和Y軸對圖像進行縮放，然后將圖像隨機裁剪為指定尺寸；將圖像隨機旋轉r度，并使用最近鄰方法插值；隨機左右翻轉以及隨機時間順序切換；

所述利用訓練數據中兩個連續的大小相同的立體圖像訓練光流估計網絡、位姿估計網絡、深度估計網絡以及運動分割包括：首先，利用訓練數據中連續的大小相同的立體圖像對訓練光流估計網絡，再同時訓練位姿估計網絡和深度估計網絡；然后，利用訓練數據中連續的大小相同的立體圖像對同時訓練光流估計網絡、位姿估計網絡、深度估計網絡以及運動分割；

兩個連續的大小相同的立體圖像對記為L₁、R₁、L₂與R₂；其中，L₁、R₁對應的表示在t₁時刻的左、右圖像，L₂、R₂對應的表示L₂時刻的左、右圖像；

利用兩個連續左圖像L₁與L₂以及設計的光流損失函數訓練光流估計網絡，光流估計網絡的輸出為兩個連續的大小相同的左圖像L₁與L₂之間的光流

同時訓練位姿估計網絡和深度估計網絡：

利用兩個連續左圖像L₁與L₂以及設計的剛性流損失函數訓練位姿估計網絡，位姿估計網絡輸出為兩個連續左圖像L₁與L₂以之間的相對相機位姿T₁₂；利用兩個連續的大小相同的立體圖像對L₁、R₁、L₂與R₂以及立體損失訓練深度估計網絡，深度估計網絡的輸出為立體圖像對之間的視差d，利用立體相機基線B和水平焦距f_x，通過視差d計算絕對尺度深度D＝Bf_x/d，將計算出的絕對尺度深度記為D_1，2。

2.根據權利要求1所述的一種基于深度學習的無監督端到端的駕駛環境感知方法，其特征在于，

所述光流損失函數包括：遮擋感知重建損失項和平滑損失項

其中，ψ(.)表示遮擋感知重建損失函數，α表示調節系數，O₁表示非遮擋區域，M₁表示損失掩模，N為歸一化系數；表示根據L₁、L₂之間的光流并結合L₂重建的左圖像，記為e表示自然對數，(i,j)表示像素位置，指沿圖像x或者y方向的求導操作，其平方表示求二階導，a指圖像的x或y方向，用于指示求導的方向，β為權重。