[發(fā)明專利]適用于嵌入式平臺(tái)的快速單目深度估計(jì)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910893707.2
• 申請(qǐng)日: 2019-09-20
• 公開(kāi)（公告）號(hào): CN110599533B
• 公開(kāi)（公告）日: 2023-06-27
• 發(fā)明（設(shè)計(jì)）人: 徐成;屠曉涵;劉四平;劉振民;李仁發(fā);李思齊;陳李培;韋理靜;徐梓桑;徐成林
• 申請(qǐng)（專利權(quán)）人: 湖南大學(xué)
• 主分類號(hào): G06T7/50
• 分類號(hào): G06T7/50
• 代理公司: 長(zhǎng)沙永星專利商標(biāo)事務(wù)所(普通合伙) 43001
• 代理人: 周詠;米中業(yè)

1.一種適用于嵌入式平臺(tái)的快速單目深度估計(jì)方法，包括如下步驟：

S1.?獲取深度估計(jì)模型所需的訓(xùn)練數(shù)據(jù)；

S2.?將步驟S1獲取的訓(xùn)練數(shù)據(jù)在嵌入式平臺(tái)進(jìn)行預(yù)處理；

S3.?將步驟S2進(jìn)行預(yù)處理過(guò)的數(shù)據(jù)發(fā)送到距離嵌入式平臺(tái)最近的邊緣服務(wù)器；

S4.?邊緣服務(wù)器采用接收到的數(shù)據(jù)訓(xùn)練構(gòu)建的深度估計(jì)模型結(jié)構(gòu)，從而得到訓(xùn)練好的深度估計(jì)模型；所述的深度估計(jì)模型，具體包括編碼器和解碼器；編碼器采用卷積神經(jīng)網(wǎng)絡(luò)，用于捕獲RGB圖像中的上下文，并實(shí)現(xiàn)自動(dòng)提取特征；解碼器利用深度可分離卷積和通道重排，在學(xué)習(xí)特征的同時(shí)提高分辨率；同時(shí)解碼器融合相同級(jí)別的編碼器的特征映射，組成U型結(jié)構(gòu)，并借助于編碼器產(chǎn)生的中間特征和解碼器自身學(xué)習(xí)到的特征來(lái)提高深度圖預(yù)測(cè)的準(zhǔn)確性；

深度估計(jì)模型包括的編碼器和解碼器為：編碼器的第一個(gè)模塊a由二維卷積層、批量歸一化層BN和激活函數(shù)層ReLU組成：其中二維卷積層的卷積核尺寸為7×7，用于提取特征；批量歸一化層BN用于減小內(nèi)部協(xié)方差平移，從而提高學(xué)習(xí)率；激活函數(shù)層ReLU在神經(jīng)網(wǎng)絡(luò)中加入非線性因素，從而提升深度估計(jì)準(zhǔn)確性，并加快網(wǎng)絡(luò)訓(xùn)練速度；編碼器的第二個(gè)模塊包括最大池化層和模塊b：最大池化層用于對(duì)領(lǐng)域內(nèi)的特征點(diǎn)取最大操作，使得神經(jīng)網(wǎng)絡(luò)能夠?qū)Ｗ⒂谧钪匾脑兀荒Kb包含二維卷積層，批量歸一化層BN、激活函數(shù)層ReLU、二維卷積層和批量歸一化層：二維卷積層的卷積核尺寸均為3×3；編碼器的第三個(gè)模塊c為殘差結(jié)構(gòu)：包括一個(gè)卷積核尺寸為3×3的二維卷積層、批量歸一化層BN和激活函數(shù)層ReLU，卷積核尺寸為3×3的二維卷積層和批量歸一化層BN，融合該卷積核尺寸為3×3的二維卷積層和批量歸一化層BN的輸出結(jié)果與卷積核尺寸為1×1的二維卷積層和批量歸一化層BN的輸出結(jié)果得到殘差結(jié)構(gòu)，然后連接模塊c和模塊b構(gòu)成編碼器的第四個(gè)模塊；再次連接模塊c和模塊b構(gòu)成編碼器的第五個(gè)模塊；最后用一卷積核尺寸為1×1的二維卷積層再次對(duì)特征進(jìn)行提取并連接解碼器；解碼器由5個(gè)模塊構(gòu)成：每個(gè)模塊均包括像素重排層和深度可分離卷積層；像素重排層使多通道的特征變成新的特征的高度和寬度，達(dá)到特征圖通道數(shù)減少，高度和寬度增加的目的，避免信息的損失；深度可分離卷積層包括depthwise卷積層，批量歸一化層BN、激活函數(shù)層ReLU、二維卷積層、批量歸一化層BN和激活函數(shù)層ReLU；其中depthwise卷積層卷積核尺寸為3×3，二維卷積層卷積核尺寸為1×1；

S5.?邊緣服務(wù)器將步驟S4得到的訓(xùn)練好的深度估計(jì)模型進(jìn)行模型轉(zhuǎn)換；具體為邊緣服務(wù)器將得到的訓(xùn)練好的深度估計(jì)模型轉(zhuǎn)換成開(kāi)放神經(jīng)網(wǎng)絡(luò)交換ONNX格式的模型；

S6.?邊緣服務(wù)器將步驟S5進(jìn)行轉(zhuǎn)換后的模型發(fā)送至嵌入式平臺(tái)；

S7.?嵌入式平臺(tái)對(duì)接收到的深度估計(jì)模型進(jìn)行轉(zhuǎn)換，并加載到和步驟S4一樣的深度估計(jì)模型結(jié)構(gòu)中，對(duì)單目圖像進(jìn)行快速的深度估計(jì)；具體為在嵌入式平臺(tái)上構(gòu)建和步驟S4一樣的深度估計(jì)模型結(jié)構(gòu)，然后將接收到的模型文件解壓縮，并采用開(kāi)放神經(jīng)網(wǎng)絡(luò)交換ONNX將解壓縮后的模型轉(zhuǎn)換為嵌入式平臺(tái)深度學(xué)習(xí)框架下對(duì)應(yīng)的深度估計(jì)模型，深度估計(jì)模型結(jié)構(gòu)加載ONNX轉(zhuǎn)換后的深度估計(jì)模型文件，對(duì)獲取的RGB圖像進(jìn)行快速地深度估計(jì)。

2.根據(jù)權(quán)利要求1所述的適用于嵌入式平臺(tái)的快速單目深度估計(jì)方法，其特征在于還包括如下步驟：

S8.?將步驟S7構(gòu)建好的構(gòu)建深度估計(jì)模型結(jié)構(gòu)集成到嵌入式平臺(tái)的操作系統(tǒng)。

3.根據(jù)權(quán)利要求2所述的適用于嵌入式平臺(tái)的快速單目深度估計(jì)方法，其特征在于步驟S8所述的將步驟S7構(gòu)建好的構(gòu)建深度估計(jì)模型結(jié)構(gòu)集成到嵌入式平臺(tái)的操作系統(tǒng)，具體為將構(gòu)建的深度估計(jì)模型結(jié)構(gòu)集成到機(jī)器人操作系統(tǒng)ROS中；利用深度估計(jì)模型結(jié)構(gòu)在機(jī)器人操作系統(tǒng)ROS中，構(gòu)建深度估計(jì)發(fā)布器，并構(gòu)建RGBD-SLAM訂閱器，深度估計(jì)發(fā)布器發(fā)布的深度圖數(shù)據(jù)和RGB數(shù)據(jù)同步后供ROS主節(jié)點(diǎn)、RGBD-SLAM訂閱器，和其他需要使用深度圖數(shù)據(jù)的節(jié)點(diǎn)使用。