[發(fā)明專(zhuān)利]基于雙目視覺(jué)的場(chǎng)景解析方法、機(jī)器人及存儲(chǔ)裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201711468458.X
• 申請(qǐng)日: 2017-12-27
• 公開(kāi)（公告）號(hào): CN109977981B
• 公開(kāi)（公告）日: 2020-11-24
• 發(fā)明（設(shè)計(jì)）人: 熊友軍;譚圣琦;潘慈輝;王先基;龐建新
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深圳市優(yōu)必選科技有限公司
• 主分類(lèi)號(hào): G06K9/62
• 分類(lèi)號(hào): G06K9/62;G06K9/46
• 代理公司: 深圳市威世博知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44280
• 代理人: 鐘子敏

本發(fā)明公開(kāi)了一種基于雙目視覺(jué)的場(chǎng)景解析方法，包括：獲取雙目視覺(jué)對(duì)應(yīng)的第一原始圖像和第二原始圖像，并分別提取第一原始圖像的多尺度特征和第二原始圖像的多尺度特征；將第一原始圖像的多尺度特征和第二原始圖像的多尺度特征進(jìn)行組合，并進(jìn)行深度估計(jì)運(yùn)算后輸出第一原始圖像基于組合的多尺度特征的初級(jí)深度估計(jì)信息；使用第一原始圖像的多尺度特征進(jìn)行語(yǔ)義分割計(jì)算，并輸出第一原始圖像對(duì)應(yīng)的初級(jí)語(yǔ)義分割信息；將初級(jí)深度估計(jì)信息、初級(jí)語(yǔ)義分割信息和第一原始圖像的多尺度特征進(jìn)行融合，然后輸出最終的深度估計(jì)信息和語(yǔ)義分割信息。本申請(qǐng)能夠提高計(jì)算效率，加快計(jì)算速度，提高計(jì)算精度。

技術(shù)領(lǐng)域

本申請(qǐng)涉及機(jī)器人行業(yè)的視覺(jué)識(shí)別技術(shù)領(lǐng)域，特別是涉及一種基于雙目視覺(jué)的場(chǎng)景解析方法、機(jī)器人以及存儲(chǔ)裝置。

背景技術(shù)

雙目視覺(jué)由于可以克服外部環(huán)境中主動(dòng)光源的干擾，因而成為一種常用的視覺(jué)系統(tǒng)解決方案，在機(jī)器人、無(wú)人機(jī)中應(yīng)用的越來(lái)越多。同時(shí)，由于機(jī)器人、無(wú)人機(jī)等需要在復(fù)雜多變、不確定或不受控制的環(huán)境下自主運(yùn)行，必須具備對(duì)周遭環(huán)境和事物高效的識(shí)別、感知、理解、判斷及行動(dòng)能力，這些因素使得機(jī)器人和無(wú)人機(jī)對(duì)于視覺(jué)系統(tǒng)的依賴(lài)和要求越來(lái)越高。因此需要一套能使機(jī)器人、無(wú)人機(jī)對(duì)周遭環(huán)境和事物進(jìn)行高效識(shí)別和感知的視覺(jué)系統(tǒng)。目前基于雙目視覺(jué)的場(chǎng)景解析方法往往通過(guò)兩個(gè)獨(dú)立的子任務(wù)分別完成深度估計(jì)和語(yǔ)義分割，在對(duì)現(xiàn)有技術(shù)的研究和實(shí)踐過(guò)程中，本發(fā)明的發(fā)明人發(fā)現(xiàn)這類(lèi)場(chǎng)景解析方法計(jì)算冗雜，非常消耗計(jì)算資源，而且使用起來(lái)也較為繁瑣。

發(fā)明內(nèi)容

本發(fā)明主要解決的技術(shù)問(wèn)題是如何提高計(jì)算效率，加快計(jì)算速度，提高計(jì)算精度。

為解決上述技術(shù)問(wèn)題，本發(fā)明采用的一個(gè)技術(shù)方案是：提供一種基于雙目視覺(jué)的場(chǎng)景解析方法，所述方法包括：獲取所述雙目視覺(jué)對(duì)應(yīng)的第一原始圖像和第二原始圖像，并分別提取所述第一原始圖像的多尺度特征和所述第二原始圖像的多尺度特征；將所述第一原始圖像的多尺度特征和所述第二原始圖像的多尺度特征進(jìn)行組合，并進(jìn)行深度估計(jì)運(yùn)算后輸出所述第一原始圖像基于所述組合的多尺度特征的初級(jí)深度估計(jì)信息；使用所述第一原始圖像的多尺度特征進(jìn)行語(yǔ)義分割計(jì)算，并輸出所述第一原始圖像對(duì)應(yīng)的初級(jí)語(yǔ)義分割信息；將所述初級(jí)深度估計(jì)信息、所述初級(jí)語(yǔ)義分割信息和所述第一原始圖像的多尺度特征進(jìn)行融合，然后輸出最終的深度估計(jì)信息和語(yǔ)義分割信息。

其中，所述分別提取所述第一原始圖像的多尺度特征和所述第二原始圖像的多尺度特征的步驟包括：通過(guò)采用相同的計(jì)算方式分別提取所述第一原始圖像的多尺度特征和所述第二原始圖像的多尺度特征。

其中，所述分別提取所述第一原始圖像的多尺度特征和所述第二原始圖像的多尺度特征的步驟包括：通過(guò)基于ImageNet數(shù)據(jù)集里所定義的公開(kāi)的計(jì)算方式進(jìn)行提取或者基于所述ImageNet數(shù)據(jù)集自定義計(jì)算方式進(jìn)行提取。

其中，將所述第一原始圖像的多尺度特征和所述第二原始圖像的多尺度特征進(jìn)行組合，并進(jìn)行深度估計(jì)運(yùn)算的步驟包括：將所述第一原始圖像的多尺度特征和所述第二原始圖像的多尺度特征以無(wú)監(jiān)督學(xué)習(xí)的方式進(jìn)行深度估計(jì)運(yùn)算。

其中，所述將所述第一原始圖像的多尺度特征和所述第二原始圖像的多尺度特征以無(wú)監(jiān)督學(xué)習(xí)的方式進(jìn)行深度估計(jì)運(yùn)算的步驟包括：將所述第一原始圖像的多尺度特征和所述第二原始圖像的多尺度特征的組合，并計(jì)算出所述第一原始圖像的初級(jí)深度估計(jì)信息；通過(guò)所述第一原始圖像以及所述第一原始圖像的初級(jí)深度估計(jì)信息重建所述第二原始圖像對(duì)應(yīng)的第二重建圖像；利用所述第二原始圖像和所述第二重建圖像構(gòu)建損失函數(shù)，并通過(guò)所述損失函數(shù)進(jìn)行無(wú)監(jiān)督學(xué)習(xí)。

其中，所述利用所述第二原始圖像和所述第二重建圖像構(gòu)建所述損失函數(shù)的步驟包括：通過(guò)所述第二重建圖像與所述第二原始圖像間的結(jié)構(gòu)相似性和圖像像素值均方誤差進(jìn)行構(gòu)建。

其中，所述使用所述第一原始圖像的多尺度特征進(jìn)行語(yǔ)義分割計(jì)算的步驟包括：對(duì)所述第一原始圖像的多尺度特征進(jìn)行編碼，以逐漸提取所述第一原始圖像的高維語(yǔ)義信息；對(duì)所述高維語(yǔ)義進(jìn)行解碼，以逐漸獲得所述初級(jí)語(yǔ)義分割信息的細(xì)節(jié)和空間維度。