[發(fā)明專利]鳥瞰圖生成及神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、裝置、存儲介質(zhì)、設(shè)備

有效

• 申請?zhí)枺?/td>: 201810515569.X
• 申請日: 2018-05-25
• 公開（公告）號: CN108876707B
• 公開（公告）日: 2022-09-23
• 發(fā)明（設(shè)計）人: 祝新革;石建萍;李鴻升;林達華
• 申請（專利權(quán)）人: 北京市商湯科技開發(fā)有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06N3/04
• 代理公司: 北京之于行知識產(chǎn)權(quán)代理有限公司 11767
• 代理人: 韓岳

本發(fā)明實施例提供一種鳥瞰圖生成及神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、裝置、計算機程序產(chǎn)品、計算機可讀存儲介質(zhì)和電子設(shè)備。其中，鳥瞰圖生成方法包括：對正視圖進行變換處理，得到中間視圖；基于所述中間視圖，得到所述正視圖對應(yīng)的鳥瞰圖。采用本發(fā)明實施例的技術(shù)方案，能夠直接基于正視圖生成鳥瞰圖，無需采用多攝像機或者采用雷達等設(shè)備生成鳥瞰圖，成本較低；并保持圖像中物體的細(xì)節(jié)信息和圖像的整體結(jié)構(gòu)，從而保證視角轉(zhuǎn)換效果，提高生成的鳥瞰圖的質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明實施例涉及圖像處理領(lǐng)域，尤其涉及一種鳥瞰圖生成方法、裝置、計算機程序產(chǎn)品、計算機可讀存儲介質(zhì)和電子設(shè)備，以及一種神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法、裝置、計算機程序產(chǎn)品、計算機可讀存儲介質(zhì)和電子設(shè)備。

背景技術(shù)

汽車的自動駕駛技術(shù)(又稱為無人駕駛技術(shù))是一種通過電腦系統(tǒng)實現(xiàn)汽車自動駕駛的技術(shù)，汽車的自動駕駛系統(tǒng)主要包含四個部分，分別是感知、定位、規(guī)劃和控制。其中，環(huán)境感知是組成自動駕駛系統(tǒng)的重要部分，同時良好的感知性能是進行規(guī)劃和控制的前提。環(huán)境感知的一個重要步驟是得到鳥瞰圖，生成鳥瞰圖存在車內(nèi)攝像頭視角受限的問題。

發(fā)明內(nèi)容

本發(fā)明實施例提供一種鳥瞰圖生成技術(shù)和一種神經(jīng)網(wǎng)絡(luò)訓(xùn)練技術(shù)。

根據(jù)本發(fā)明實施例的第一方面，提供一種鳥瞰圖生成方法，包括：對正視圖進行變換處理，得到中間視圖；基于所述中間視圖，得到所述正視圖對應(yīng)的鳥瞰圖。

可選地，所述基于所述中間視圖，得到所述正視圖對應(yīng)的鳥瞰圖，包括：利用神經(jīng)網(wǎng)絡(luò)系統(tǒng)對所述中間視圖進行處理，得到所述正視圖對應(yīng)的鳥瞰圖。

可選地，在所述利用神經(jīng)網(wǎng)絡(luò)系統(tǒng)對所述中間視圖進行處理，得到所述正視圖對應(yīng)的鳥瞰圖之前，還包括：根據(jù)正視圖訓(xùn)練樣本，得到中間視圖訓(xùn)練樣本；利用所述神經(jīng)網(wǎng)絡(luò)系統(tǒng)對所述中間視圖訓(xùn)練樣本進行處理，得到第一鳥瞰圖；至少根據(jù)所述第一鳥瞰圖與所述正視圖訓(xùn)練樣本對應(yīng)的鳥瞰圖訓(xùn)練樣本，訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)系統(tǒng)。

可選地，所述根據(jù)正視圖訓(xùn)練樣本，得到中間視圖訓(xùn)練樣本，包括：獲取正視圖訓(xùn)練樣本與鳥瞰圖訓(xùn)練樣本之間的特征匹配點；根據(jù)所述特征匹配點，得到中間視圖訓(xùn)練樣本。

可選地，所述根據(jù)所述特征匹配點，獲得中間視圖訓(xùn)練樣本，包括：根據(jù)所述特征匹配點確定變換矩陣；根據(jù)所述變換矩陣，對所述正視圖訓(xùn)練樣本上的像素進行變換處理，得到中間視圖訓(xùn)練樣本。

可選地，所述利用所述神經(jīng)網(wǎng)絡(luò)系統(tǒng)對所述中間視圖訓(xùn)練樣本進行處理，得到第一鳥瞰圖，包括：通過所述神經(jīng)網(wǎng)絡(luò)系統(tǒng)中的第一編碼單元對所述中間視圖訓(xùn)練樣本進行編碼處理，得到第一中間特征；通過所述神經(jīng)網(wǎng)絡(luò)系統(tǒng)中的第一合成單元對所述第一中間特征進行處理，得到第一鳥瞰圖。

可選地，所述根據(jù)所述第一鳥瞰圖與所述鳥瞰圖訓(xùn)練樣本，訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)系統(tǒng)，包括：通過所述神經(jīng)網(wǎng)絡(luò)系統(tǒng)中的第一判別單元對所述第一鳥瞰圖和所述鳥瞰圖訓(xùn)練樣本分別進行分類處理，得到第一分類結(jié)果和第二分類結(jié)果；至少根據(jù)所述第一分類結(jié)果和所述第二分類結(jié)果，調(diào)整所述第一編碼單元、所述第一合成單元和所述第一判別單元中至少一個的網(wǎng)絡(luò)參數(shù)。

可選地，所述方法還包括：利用所述神經(jīng)網(wǎng)絡(luò)系統(tǒng)對所述鳥瞰圖訓(xùn)練樣本進行處理，得到第二鳥瞰圖；至少根據(jù)所述第二鳥瞰圖與所述鳥瞰圖訓(xùn)練樣本，訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)系統(tǒng)。

可選地，所述利用所述神經(jīng)網(wǎng)絡(luò)系統(tǒng)對所述鳥瞰圖訓(xùn)練樣本進行處理，得到第二鳥瞰圖，包括：通過所述神經(jīng)網(wǎng)絡(luò)系統(tǒng)中的第二編碼單元對所述鳥瞰圖訓(xùn)練樣本進行編碼處理，得到第二中間特征；通過所述神經(jīng)網(wǎng)絡(luò)系統(tǒng)中的第一合成單元對所述第二中間特征進行處理，得到第二鳥瞰圖。

可選地，所述根據(jù)所述第二鳥瞰圖與所述鳥瞰圖訓(xùn)練樣本，訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)系統(tǒng)，包括：根據(jù)所述第二鳥瞰圖與所述鳥瞰圖訓(xùn)練樣本之間的差異，調(diào)整所述第二編碼單元和所述第一合成單元中至少一個的網(wǎng)絡(luò)參數(shù)。