[發(fā)明專利]網(wǎng)絡(luò)訓(xùn)練與圖像處理方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110602236.2
• 申請(qǐng)日: 2021-05-31
• 公開(kāi)（公告）號(hào): CN113344195A
• 公開(kāi)（公告）日: 2021-09-03
• 發(fā)明（設(shè)計(jì)）人: 王金旺
• 申請(qǐng)（專利權(quán)）人: 上海商湯智能科技有限公司
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08
• 代理公司: 北京博思佳知識(shí)產(chǎn)權(quán)代理有限公司 11415
• 代理人: 張相欽

1.一種神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，包括：

利用偏移量提取網(wǎng)絡(luò)，獲得與多種預(yù)設(shè)角度分別對(duì)應(yīng)的偏移量；所述偏移量指示樣本圖像中屋頂與底座之間的偏移量；所述樣本圖像包括第一偏移量真實(shí)信息；所述多種預(yù)設(shè)角度用于旋轉(zhuǎn)樣本圖像或所述樣本圖像對(duì)應(yīng)的圖像特征；

將所述第一偏移量真實(shí)信息分別旋轉(zhuǎn)所述多種預(yù)設(shè)角度，得到與所述多種預(yù)設(shè)角度分別對(duì)應(yīng)的第二偏移量真實(shí)信息；

利用與所述多種預(yù)設(shè)角度分別對(duì)應(yīng)的第二偏移量真實(shí)信息和獲得的偏移量，調(diào)整所述偏移量提取網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，所述利用偏移量提取網(wǎng)絡(luò)，獲得與多種預(yù)設(shè)角度分別對(duì)應(yīng)的偏移量，包括：

利用偏移量提取網(wǎng)絡(luò)，將所述樣本圖像對(duì)應(yīng)的第一圖像特征分別旋轉(zhuǎn)多種預(yù)設(shè)角度，得到與所述多種預(yù)設(shè)角度分別對(duì)應(yīng)的第二圖像特征；

基于所述第二圖像特征，得到與所述多種預(yù)設(shè)角度分別對(duì)應(yīng)的偏移量。

3.根據(jù)權(quán)利要求2所述的方法，所述利用偏移量提取網(wǎng)絡(luò)，將所述樣本圖像對(duì)應(yīng)的第一圖像特征分別旋轉(zhuǎn)多種預(yù)設(shè)角度，得到與所述多種預(yù)設(shè)角度分別對(duì)應(yīng)的第二圖像特征，包括：

針對(duì)所述多種預(yù)設(shè)角度中的每一角度，利用所述偏移量提取網(wǎng)絡(luò)包括的與所述角度對(duì)應(yīng)的空間變換網(wǎng)絡(luò)，將所述第一圖像特征旋轉(zhuǎn)所述角度，得到與所述角度對(duì)應(yīng)的第二圖像特征。

4.根據(jù)權(quán)利要求3所述的方法，所述空間變換網(wǎng)絡(luò)包括基于插值方式進(jìn)行圖像旋轉(zhuǎn)的采樣器；其中，所述采樣器包括基于所述空間變換網(wǎng)絡(luò)對(duì)應(yīng)的預(yù)設(shè)角度確定的采樣網(wǎng)格；所述采樣網(wǎng)格表征第一圖像特征與第二圖像特征之間的像素點(diǎn)對(duì)應(yīng)關(guān)系；

利用所述空間變換網(wǎng)絡(luò)將所述第一圖像特征旋轉(zhuǎn)預(yù)設(shè)角度，得到與所述預(yù)設(shè)角度對(duì)應(yīng)的第二圖像特征，包括：

通過(guò)所述采樣器，利用所述采樣網(wǎng)格，確定所述第一圖像特征中，與第二圖像特征中各像素點(diǎn)分別對(duì)應(yīng)的多個(gè)像素點(diǎn)，并基于插值方式對(duì)所述多個(gè)像素點(diǎn)的像素值進(jìn)行映射，得到第二圖像特征中各像素點(diǎn)分別對(duì)應(yīng)的像素值。

5.根據(jù)權(quán)利要求1-4任一所述的方法，所述利用與所述多種預(yù)設(shè)角度分別對(duì)應(yīng)的第二偏移量真實(shí)信息和獲得的偏移量，調(diào)整所述偏移量提取網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，包括：

根據(jù)與所述多種預(yù)設(shè)角度分別對(duì)應(yīng)的第二偏移量真實(shí)信息和獲得的偏移量，得到與所述多種預(yù)設(shè)角度分別對(duì)應(yīng)的偏移量損失信息；

基于與所述多種預(yù)設(shè)角度分別對(duì)應(yīng)的偏移量損失信息之和，調(diào)整所述偏移量提取網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)。

6.根據(jù)權(quán)利要求1-5任一所述的方法，所述樣本圖像還包括屋頂區(qū)域真實(shí)信息；所述方法還包括：

利用屋頂區(qū)域提取網(wǎng)絡(luò)，獲得所述圖像樣本中的屋頂區(qū)域；其中，所述屋頂區(qū)域提取網(wǎng)絡(luò)與所述偏移量提取網(wǎng)絡(luò)共享特征提取網(wǎng)絡(luò)，并且屬于同一底座區(qū)域提取網(wǎng)絡(luò)；所述底座區(qū)域提取網(wǎng)絡(luò)用于基于獲得的屋頂區(qū)域與偏移量得到底座區(qū)域；

基于所述屋頂區(qū)域真實(shí)信息以及獲得的屋頂區(qū)域，對(duì)所述屋頂區(qū)域提取網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

7.根據(jù)權(quán)利要求6所述的方法，所述底座區(qū)域提取網(wǎng)絡(luò)包括建筑物邊框提取網(wǎng)絡(luò)，所述建筑物邊框提取網(wǎng)絡(luò)包括所述特征提取網(wǎng)絡(luò)，所述樣本圖像還包括建筑物邊框真實(shí)信息；所述方法還包括：

利用所述建筑物邊框提取網(wǎng)絡(luò)，獲得所述圖像樣本中的建筑物邊框；

基于所述建筑物邊框真實(shí)信息以及獲得的建筑物邊框，對(duì)所述建筑物邊框提取網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

8.根據(jù)權(quán)利要求1-7任一所述的方法，用于訓(xùn)練所述偏移量提取網(wǎng)絡(luò)的訓(xùn)練樣本集的生成方法包括：

獲取圖像集；所述圖像集包括與多個(gè)區(qū)域分別對(duì)應(yīng)的樣本圖像；其中，在相同區(qū)域?qū)?yīng)多幀樣本圖像的情況下，存在至少兩幀對(duì)應(yīng)于所述相同區(qū)域的目標(biāo)圖像具有不同的采集角度；

對(duì)所述多個(gè)區(qū)域中每個(gè)區(qū)域分別對(duì)應(yīng)的至少一幀目標(biāo)樣本圖像進(jìn)行底座區(qū)域真值信息標(biāo)注；

針對(duì)每個(gè)區(qū)域，將所述區(qū)域?qū)?yīng)的目標(biāo)樣本圖像所標(biāo)注的底座區(qū)域真值信息，確定為所述區(qū)域?qū)?yīng)的各幀采集圖像的底座區(qū)域真值信息，得到訓(xùn)練樣本集以基于所述訓(xùn)練樣本集訓(xùn)練所述偏移量提取網(wǎng)絡(luò)。