[發明專利]一種基于偏振相機和RGB-D傳感器的水面檢測方法

有效

• 申請號: 202010090315.5
• 申請日: 2020-02-13
• 公開（公告）號: CN111310651B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 孫東明;李華兵;楊愷倫
• 申請（專利權）人: 杭州凌像科技有限公司
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V20/58;G06V20/70;G06V10/145;G06V10/26;G06V10/82
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

本發明公開了一種基于偏振相機和RGB?D傳感器的水面檢測方法。該方法利用偏振相機采集偏振度圖，RGB?D傳感器采集彩色圖和深度圖，融合偏振度圖、彩色圖、深度圖的檢測信息從而輸出水面檢測結果。將偏振相機、RGB?D傳感器和移動處理器連接，即可進行實時水面檢測。本發明方法誤檢率低、漏檢率低、實時性好、跨平臺性好。可以很好地滿足自動駕駛領域對水面區域檢出的要求。

技術領域

本發明屬于圖像處理技術、信號處理技術、計算機視覺技術領域，涉及一種基于偏振相機和RGB-D傳感器的水面檢測方法。

背景技術

在自動駕駛領域，水面是潛在的危險區域，當車輛高速運動時，水面會造成車輛的打滑；當軋過積水坑時，快速通過會濺起積水影響行人。因此，如何快速準確地檢出水面對于自動駕駛有重要意義。

目前，水面檢測的解決方案尚在少數，且現有方案多依賴于激光掃描，存在實時性較低、裝置復雜的缺陷；深度學習在圖像識別中的成功應用為水面檢測帶來了新思路，但目前針對水面進行標注的數據集存在規模小、標注精度低的特點，難以應用在深度神經網絡的訓練中。因此，提出一種通用性強、檢測準確率高、所需硬件簡單的水面檢測方法是十分有應用價值的。

發明內容

本發明的目的在于針對現有技術的不足，提供一種基于偏振相機和RGB-D傳感器的水面檢測方法。

本發明的目的是通過以下技術方案實現的：一種基于偏振相機和RGB-D傳感器的水面檢測方法，包括以下步驟：

(1)對偏振相機和RGB-D傳感器進行標定，得到偏振相機的內參矩陣I_p、RGB-D傳感器的內參矩陣I_d、RGB-D傳感器相對于偏振相機的旋轉矩陣R和平移向量T；

(2)使用偏振相機采集一幀偏振度圖P，計算偏振度圖P中每個像素(i，j)的偏振度DOP(i，j)。設定閾值σ。創建一個空集A，遍歷P中的像素，若DOP(i，j)≥σ，則將像素坐標(i，j)加入到集合A中；

(3)使用RGB-D傳感器同時采集一幀彩色圖C和一幀深度圖D，將彩色圖C和深度圖D的坐標系對齊。用D(i，j)表示深度圖D中像素坐標(i，j)處的深度；

(4)使用一個已經訓練好的語義分割網絡，將彩色圖C作為輸入，得到它的語義分割結果S，用S(i，j)表示S中像素坐標(i，j)對應的物體類別。創建一個空集B，遍歷S中的像素，若S(i，j)為地面，則將像素坐標(i，j)加入到集合B中；

(5)遍歷集合B中的元素，利用坐標變換關系將它變換到偏振相機所在的像素平面，具體為：設其中任意一個元素為B_k＝(i，j)，使用B_k對應的深度值D(i，j)和RGB-D傳感器內參I_d，將像素(i，j)投影到RGB-D傳感器坐標系得到其三維坐標p；使用旋轉矩陣R和平移向量T，將p投影到偏振相機坐標系得到變換后的坐標p′；使用偏振相機內參矩陣I_p將p′投影到偏振相機像素平面，得到其像素坐標(u，v)。搜索集合A中是否包含元素(u，v)：若含有，則在集合B中保留元素B_k，將它視作水面的一個像素；若不含，則從集合B中剔除元素B_k。遍歷結束后的集合B即為檢測到的水面所包含的像素坐標。

進一步地，所述步驟(1)中，閾值σ的取值范圍為[0，1]。