[發(fā)明專利]一種基于雙目相機的實時臺階檢測方法

有效

• 申請?zhí)枺?/td>: 201810603791.5
• 申請日: 2018-06-12
• 公開（公告）號: CN108876799B
• 公開（公告）日: 2021-07-02
• 發(fā)明（設(shè)計）人: 林龍慶;孫俊偉;于紅雷;吳國偉
• 申請（專利權(quán)）人: 杭州視氪科技有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/70;G06T5/00;G06N3/04
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 黃歡娣;邱啟旺

1.一種基于雙目相機的實時臺階檢測方法，其特征在于，包括以下步驟：

(1)利用雙目相機采集周圍環(huán)境的灰度圖像和深度圖像；利用九軸陀螺儀獲取雙目相機坐標系到世界坐標系的變換關(guān)系；

(2)對于深度圖像中紋理缺失、視野遮擋以及雙目相機本身的缺陷造成的深度圖缺失，利用周圍的深度信息的均值填補缺失的深度；然后用均值濾波平滑深度圖的噪聲；

(3)利用深度圖像，通過雙目相機的深度圖以及相機參數(shù)計算得到相機坐標下的三維點云；根據(jù)所述步驟(1)得到的變換矩陣計算世界坐標系下的三維點云；

(4)世界坐標系下的三維點云分割成點云塊，具體為：將灰度圖像均勻地分割成大小相同的矩形塊，矩形塊矩陣分布；每個矩形塊中的各個像素對應(yīng)的三維點云組成點云塊；

(5)將每一個點云塊用RANSAC平面擬合法擬合出點云塊所屬平面；如果擬合的點云數(shù)少于點云塊點云總數(shù)的30％，則不認為其是一個平面，否則認為其是平面；對于擬合出的平面，計算出其法向量(v′_x,v′_y,v′_z)，并計算出點云塊距離地面的平均高度h；

(6)若該點云塊是平面且平面法向量與地平面的法向量(0,0,1)夾角小于20度，并且h滿足h≤40cm，則認為該點云塊屬于地面，否則認為其不屬于地面；

(7)將屬于地面的點云塊根據(jù)距離相機遠近對點云進行升序排序，共N行，相同距離的點云塊排設(shè)于同一行；將前N/4行的點云塊采用RANSAC平面擬合方法進行平面擬合得到擬合平面；

(8)對于前N/4行的點云塊，由近到遠進行逐行遍歷，計算每一行中的點云塊到平面的平均距離；若距離小于20mm，認為該行點云屬于當前平面，否則不屬于當前平面；

(9)若所有行的點云塊都屬于當前平面，則地面平坦，無臺階；若第n行的點云不屬于當前平面，則對n～N行的所有點云塊按照RANSAC平面擬合方法進行重新平面擬合，得到二次擬合平面；

(10)計算二次擬合平面中第n行的擬合高度與步驟(7)得到的擬合平面中第n-1行的擬合高度之差，若高度差大于50mm，則該處為臺階，并根據(jù)步驟(2)處理后的深度圖，獲得該臺階與雙目相機之間的距離。

2.根據(jù)權(quán)利要求1所述的一種基于雙目相機的實時臺階檢測方法，其特征在于：利用九軸陀螺儀獲取雙目相機坐標系到世界坐標系下的變換關(guān)系具體為：

(a)將雙目相機與九軸陀螺儀垂直安裝，保證相機和陀螺儀的位姿關(guān)系在使用過程中固定不變；

(b)利用九軸陀螺儀測得相機的位姿，根據(jù)相機位姿獲取相機坐標系到世界坐標系的變換矩陣。

3.根據(jù)權(quán)利要求1所述的一種基于雙目相機的實時臺階檢測方法，其特征在于：所述步驟(5)中，計算出點云塊距離地面的平均高度h，是通過以下方法計算得到：h_i為點云塊中第i個像素點距離地面的高度，m為點云塊中像素點的個數(shù)。

4.根據(jù)權(quán)利要求1所述的一種基于雙目相機的實時臺階檢測方法，其特征在于，所述步驟(2)中的填補方法如下：如果深度圖點p(i,j)存在缺失，則利用以p(i,j)為中心邊長為17的正方形區(qū)域內(nèi)的深度均值p′(i,j)來填充該點；其中：

5.根據(jù)權(quán)利要求1所述的一種基于雙目相機的實時臺階檢測方法，其特征在于：還包括通過深度神經(jīng)網(wǎng)絡(luò)對灰度圖像進行分析，預(yù)判周圍環(huán)境中是否有臺階；若預(yù)判結(jié)果為有臺階，再按照步驟(2)～(10)進行檢測。

6.根據(jù)權(quán)利要求5所述的一種基于雙目相機的實時臺階檢測方法，其特征在于：所述神經(jīng)網(wǎng)絡(luò)，是利用含有臺階的灰度圖像訓練得到的。