[發明專利]適用于嵌入式平臺的快速單目深度估計方法

有效

• 申請號: 201910893707.2
• 申請日: 2019-09-20
• 公開（公告）號: CN110599533B
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 徐成;屠曉涵;劉四平;劉振民;李仁發;李思齊;陳李培;韋理靜;徐梓桑;徐成林
• 申請（專利權）人: 湖南大學
• 主分類號: G06T7/50
• 分類號: G06T7/50
• 代理公司: 長沙永星專利商標事務所(普通合伙) 43001
• 代理人: 周詠;米中業

本發明公開了一種適用于嵌入式平臺的快速單目深度估計方法，包括獲取深度估計模型所需的訓練數據；對訓練數據預處理、壓縮并發送到距離嵌入式平臺最近的邊緣服務器；邊緣服務器對接收的數據訓練深度估計模型得到訓練好的深度估計模型；對深度估計模型進行轉換、壓縮并發送嵌入式平臺；嵌入式平臺接收數據并根據構建的深度估計模型結構對單目圖像進行快速的深度估。本發明基于包括編碼器和解碼器組成的U型輕量級深度估計模型，參數少，計算量小，預測速度快，可從RGB圖像中自動學習得到準確的像素級深度圖，適用于室內室外不同的場景，方便靈活；而且本發明方法的效率較高、可靠性好、成本低廉且適用于資源有限平臺。

技術領域

本發明具體涉及一種適用于嵌入式平臺的快速單目深度估計方法。

背景技術

作為計算機視覺研究中的一個重要方向，深度估計的主要目標是測出圖像中每個像素的深度，獲取像素級別的深度圖。目前，深度估計已廣泛應用于汽車自動駕駛，虛擬現實，增強現實，機器人避障等任務中。從數據來源上深度估計可分為基于單目RGB圖像的深度估計，基于雙目RGB圖像的深度估計，基于單目RGB圖像和稀疏深度的深度估計，和基于稀疏深度的深度估計。

由于深度神經網絡的發展，深度估計技術取得了一定的進展。借助深度神經網絡，良好的圖像特征可被學習到。但是深度神經網絡的計算需要大量資源，目前基于深度神經網絡的深度估計技術因模型大，運行時占用內存多，而依賴于高性能計算平臺。這阻礙了深度估計技術在資源受限的嵌入式平臺上的發展。此外，現有的深度估計算法在上采樣中常采用插值方法來增大深度神經網絡輸出特征圖的分辨率，但是傳統的插值方法會使圖像部分質量受損，并且預測到的深度圖存在需要進一步改進的誤差。為了在嵌入式平臺上更加準確快速地進行單張圖片的深度估計，需要設計新的單目深度估計方法。

發明內容

本發明的目的在于提供一種效率較高、可靠性好且成本低廉的適用于嵌入式平臺的快速單目深度估計方法。

本發明提供的這種適用于嵌入式平臺的快速單目深度估計方法，包括如下步驟：

S1.獲取深度估計模型所需的訓練數據；

S2.將步驟S1獲取的訓練數據在嵌入式平臺進行預處理；

S3.將步驟S2進行預處理過的數據發送到距離嵌入式平臺最近的邊緣服務器；

S4.邊緣服務器采用接收到的數據訓練構建的深度估計模型結構，從而得到訓練好的深度估計模型；

S5.邊緣服務器將步驟S4得到的訓練好的深度估計模型進行模型轉換；

S6.邊緣服務器將步驟S5進行轉換后的模型發送至嵌入式平臺；

S7.嵌入式平臺對接收到的深度估計模型進行轉換，并加載到和步驟S4一樣的深度估計模型結構中，對單目圖像進行快速的深度估計。

所述的適用于嵌入式平臺的快速單目深度估計方法，還包括如下步驟：

S8.將步驟S7構建好的構建深度估計模型結構集成到嵌入式平臺的操作系統中。

步驟S8所述的將步驟S7構建好的構建深度估計模型結構集成到嵌入式平臺的操作系統，具體為將構建的深度估計模型結構集成到機器人操作系統ROS中；利用深度估計模型結構在機器人操作系統ROS中，構建深度估計發布器，并構建RGBD-SLAM訂閱器，深度估計發布器發布的深度圖數據和RGB數據同步后供ROS主節點、RGBD-SLAM訂閱器，和其他需要使用深度圖數據的節點使用。

步驟S1所述的獲取深度估計模型所需的訓練數據，具體為使用深度相機采集RGB圖像和深度圖，或者采用互聯網公開的由深度相機采集的RGB圖像和深度圖；然后將獲取的深度圖中深度值為0的像素值運用雙線性插值方法填充，最后將RGB圖像和填充后的深度圖一起用作深度估計模型的訓練數據。