[發明專利]基于3D視覺技術的貨車全景倒車影像系統及使用方法

在審

• 申請號: 202010112064.6
• 申請日: 2020-02-24
• 公開（公告）號: CN111301328A
• 公開（公告）日: 2020-06-19
• 發明（設計）人: 單梁;王志強;邱博;單浩然;樊宇浩;李軍;張永;黃成
• 申請（專利權）人: 南京理工大學
• 主分類號: B60R21/013
• 分類號: B60R21/013;B60Q9/00;B60R1/00;H04N7/18
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 薛云燕

1.一種基于3D視覺技術的貨車全景倒車影像系統，其特征在于，包括圖像采集模塊、控制器和用戶終端；

所述圖像采集模塊通過以太網與控制器連接，接收控制器的指令信號并將采集到的環境深度信息傳輸到控制器；

所述控制器從圖像采集模塊接收數據進行處理，繪制實時環境地圖，輸出地圖信息和預警信號；

所述用戶終端與控制器通過USB串口連接，接收控制器發送的地圖信息和預警信號。

2.根據權利要求1所述的基于3D視覺技術的貨車全景倒車影像系統，其特征在于，所述圖像采集模塊包括兩個TOF相機和一個雙目相機，所述TOF相機型號為Sick Visionary-T，分別安裝在貨車車頭部左右兩側，掃描車身側面的環境；所述雙目相機型號為SickVisionary-B，安裝在貨車尾部，掃描貨車尾部的環境。

3.根據權利要求1所述的基于3D視覺技術的貨車全景倒車影像系統，其特征在于，所述的控制器采用工控機，與用戶終端一同集成在駕駛室內部。

4.根據權利要求1所述的基于3D視覺技術的貨車全景倒車影像系統，其特征在于，所述用戶終端包括顯示器和揚聲器，所述顯示器用于顯示圖像信息，所述揚聲器用于根據預警信號發出語音提示。

5.一種基于3D視覺技術的貨車全景倒車影像系統的使用方法，其特征在于，包括以下步驟：

步驟1、貨車掛倒擋后，控制器向圖像采集模塊發送開始掃描的指令信號，圖像采集模塊包括兩個TOF相機和一個雙目相機，所述TOF相機分別安裝在貨車車頭部左右兩側，雙目相機裝在貨車尾部；

步驟2、圖像采集模塊接收到指令信號，開始對周圍環境進行掃描，將掃描的數據通過以太網傳輸給控制器；

步驟3、控制器接收到圖像采集模塊傳輸的數據，根據圖像采集模塊中各相機安裝在車輛上的位置，對各個相機的深度數據進行拼接；

步驟4、控制器將拼接完的3D深度圖投影至水平面上，繪制出貨車輪廓和周圍環境地圖發送到用戶終端進行顯示；

步驟5、計算距離最近的障礙物距離，給出相應距離段的預警信號，當貨車周圍1.5米內沒有障礙物時，沒有預警信號；當貨車周圍0.5米至1.5米內有障礙物時，給定頻率為1Hz的蜂鳴預警信號；當貨車周圍0.5米內有障礙物時，給定頻率為5Hz的蜂鳴預警信號；

步驟6、泊車完成后，控制器向圖像采集模塊發送停止掃描的指令信號。

6.根據權利要求5所述的基于3D視覺技術的貨車全景倒車影像系統的使用方法，其特征在于，步驟3所述的控制器接收到圖像采集模塊傳輸的數據，根據圖像采集模塊中各相機安裝在車輛上的位置，對各個相機的深度數據進行拼接，具體如下：

步驟3.1、以貨車中心為世界坐標系，根據圖像采集模塊中各相機安裝的位置對各個相機的參考坐標系進行標定；

步驟3.2、根據標定后的相機坐標系和世界坐標系的轉換關系，將各個相機的數據轉換至世界坐標系下，實現粗配準；

步驟3.3、根據粗配準的結果，以雙目相機的數據為基準，使用SIFT算子在兩個TOF相機數據重合的區域提取特征，根據特征的匹配對，將兩個TOF相機的數據和雙目相機的數據進行配準融合，得到完整的3D深度圖。