[發(fā)明專利]一種基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201810246869.2
• 申請(qǐng)日: 2018-03-23
• 公開(kāi)（公告）號(hào): CN108491081B
• 公開(kāi)（公告）日: 2020-09-25
• 發(fā)明（設(shè)計(jì)）人: 史成耀;劉云輝;崔恒利;莊凱;崔建竹
• 申請(qǐng)（專利權(quán)）人: 聯(lián)想（北京）有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06N3/04
• 代理公司: 北京金信知識(shí)產(chǎn)權(quán)代理有限公司 11225
• 代理人: 黃威;喻嶸

本發(fā)明公開(kāi)了一種基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理方法及裝置，該方法包括：構(gòu)建神經(jīng)網(wǎng)絡(luò)，并基于增強(qiáng)現(xiàn)實(shí)技術(shù)對(duì)所述神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以學(xué)習(xí)空間知識(shí)；利用訓(xùn)練好的所述神經(jīng)網(wǎng)絡(luò)生成與現(xiàn)實(shí)場(chǎng)景對(duì)應(yīng)的深度模板；基于所述深度模板對(duì)虛擬圖像進(jìn)行處理，并將處理后的所述虛擬圖像與所述現(xiàn)實(shí)場(chǎng)景相結(jié)合。該方法能夠結(jié)合神經(jīng)網(wǎng)絡(luò)從而精確的獲取現(xiàn)實(shí)場(chǎng)景的空間信息，使得AR設(shè)備能夠根據(jù)精確的空間信息來(lái)準(zhǔn)確的投影虛擬圖像，以使投影的虛擬圖像與現(xiàn)實(shí)場(chǎng)景之間的相對(duì)位置不會(huì)發(fā)生偏移，從而增強(qiáng)了投影效果。

技術(shù)領(lǐng)域

本發(fā)明涉及增強(qiáng)現(xiàn)實(shí)(AR)領(lǐng)域，特別涉及一種基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理方法及裝置。

背景技術(shù)

在增強(qiáng)現(xiàn)實(shí)(AR)領(lǐng)域中，AR設(shè)備在進(jìn)行虛擬圖像的投影時(shí)，需要獲取現(xiàn)實(shí)場(chǎng)景中的深度信息，從而能夠?qū)⑻摂M圖像精準(zhǔn)的投放到現(xiàn)實(shí)場(chǎng)景中，并且不會(huì)發(fā)生虛擬圖像與現(xiàn)實(shí)物體相對(duì)位置偏移等現(xiàn)象。而目前在獲取深度信息時(shí)往往需要借助于額外的其它設(shè)備，并且獲取的深度信息并不準(zhǔn)確，例如在進(jìn)行深度的探測(cè)時(shí)，探測(cè)距離有限且不能精準(zhǔn)獲取現(xiàn)實(shí)場(chǎng)景中物體的深度值，造成投放的虛擬圖像發(fā)生相對(duì)位置偏移，使得AR設(shè)備使用效果差。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提供一種基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理方法及裝置，該方法能夠結(jié)合神經(jīng)網(wǎng)絡(luò)從而精確的獲取現(xiàn)實(shí)場(chǎng)景的空間信息，使得AR設(shè)備能夠根據(jù)精確的空間信息來(lái)準(zhǔn)確的投影虛擬圖像，以使投影的虛擬圖像與現(xiàn)實(shí)場(chǎng)景完美結(jié)合。

為了解決上述技術(shù)問(wèn)題，本發(fā)明的實(shí)施例采用了如下技術(shù)方案：一種基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理方法，包括：

構(gòu)建神經(jīng)網(wǎng)絡(luò)，并基于增強(qiáng)現(xiàn)實(shí)技術(shù)對(duì)所述神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以學(xué)習(xí)空間知識(shí)；

利用訓(xùn)練好的所述神經(jīng)網(wǎng)絡(luò)生成與現(xiàn)實(shí)場(chǎng)景對(duì)應(yīng)的深度模板；

基于所述深度模板對(duì)虛擬圖像進(jìn)行處理，并將處理后的所述虛擬圖像與所述現(xiàn)實(shí)場(chǎng)景相結(jié)合。

作為優(yōu)選，所述的構(gòu)建神經(jīng)網(wǎng)絡(luò)，并基于增強(qiáng)現(xiàn)實(shí)技術(shù)對(duì)所述神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以學(xué)習(xí)空間知識(shí)包括：

利用深度學(xué)習(xí)方法構(gòu)建所述神經(jīng)網(wǎng)絡(luò)；

基于預(yù)設(shè)圖像對(duì)所述神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，其中所述預(yù)設(shè)圖像包括動(dòng)態(tài)圖像和靜態(tài)場(chǎng)景；

建立所述預(yù)設(shè)圖像與深度信息的映射關(guān)系。

作為優(yōu)選，所述預(yù)設(shè)圖像為二維圖像，所述的構(gòu)建神經(jīng)網(wǎng)絡(luò)，并基于增強(qiáng)現(xiàn)實(shí)技術(shù)對(duì)所述神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以學(xué)習(xí)空間知識(shí)還包括：

將所述二維圖像中的物體進(jìn)行分割；

模仿人眼對(duì)分割后的所述物體進(jìn)行深度預(yù)估，以使所述神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)空間知識(shí)。

作為優(yōu)選，所述的基于所述深度模板對(duì)虛擬圖像進(jìn)行處理包括：

通過(guò)應(yīng)用程序調(diào)用所述深度模板；

通過(guò)所述深度模板使所述虛擬圖像產(chǎn)生遮擋效應(yīng)。

作為優(yōu)選，所述的利用訓(xùn)練好的所述神經(jīng)網(wǎng)絡(luò)生成與現(xiàn)實(shí)場(chǎng)景對(duì)應(yīng)的深度模板具體為：

利用訓(xùn)練好的所述神經(jīng)網(wǎng)絡(luò)實(shí)時(shí)生成與當(dāng)前現(xiàn)實(shí)場(chǎng)景相對(duì)應(yīng)的所述深度模板。

本申請(qǐng)實(shí)施例還提供了一種基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理裝置，包括構(gòu)建模塊、生成模塊和處理模塊；

所述構(gòu)建模塊配置為構(gòu)建神經(jīng)網(wǎng)絡(luò)，并基于增強(qiáng)現(xiàn)實(shí)技術(shù)對(duì)所述神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以學(xué)習(xí)空間知識(shí)；

所述生成模塊配置為利用訓(xùn)練好的所述神經(jīng)網(wǎng)絡(luò)生成與現(xiàn)實(shí)場(chǎng)景對(duì)應(yīng)的深度模板；

所述處理模塊配置為基于所述深度模板對(duì)虛擬圖像進(jìn)行處理，并將處理后的所述虛擬圖像與所述現(xiàn)實(shí)場(chǎng)景相結(jié)合。

作為優(yōu)選，所述構(gòu)建模塊進(jìn)一步配置為：