[發(fā)明專利]一種基于大規(guī)模場景三維模型精細語義標注方法

在審

• 申請?zhí)枺?/td>: 202011011807.7
• 申請日: 2020-09-22
• 公開（公告）號: CN112348972A
• 公開（公告）日: 2021-02-09
• 發(fā)明（設(shè)計）人: 何嬌;王江安
• 申請（專利權(quán)）人: 陜西土豆數(shù)據(jù)科技有限公司
• 主分類號: G06T19/20
• 分類號: G06T19/20;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種基于大規(guī)模場景三維模型精細語義標注方法，在主動學(xué)習(xí)(Active Learning)框架下迭代執(zhí)行以下幾個步驟，S1使用不斷擴大的帶標記圖像集對CNN進行語義分割網(wǎng)絡(luò)訓(xùn)練；S2利用標定后的攝像機參數(shù)將所有圖像中的像素標簽反投影到三維網(wǎng)格模型上；S3以融合后的語義三維模型作為監(jiān)督者；S4訓(xùn)練?融合?選擇過程將不斷進行，直到模型的標簽變得穩(wěn)定，即在先前和當(dāng)前迭代中同一面片具有不同標簽的百分比低于閾值，η本發(fā)明可用于對由圖像重建的大規(guī)模場景三維模型進行精細標記，所提出的方法使用有限的人工，同時還可保證模型的語義標注的質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明屬于無人機傾斜攝影技術(shù)領(lǐng)域，具體為一種基于大規(guī)模場景三維模型精細語義標注方法。

背景技術(shù)

近年來，三維模型的語義標注一直是一個具有挑戰(zhàn)性的研究方向。當(dāng)前，大規(guī)模三維模型自動語義標注方法有以下兩種。一種是結(jié)合三維模型和語義去重建場景。采用預(yù)訓(xùn)練的決策樹進行圖像分割。然后結(jié)合標簽圖像和深度圖重建語義模型。二是為三維模型分配語義標簽。先對二維圖像進行像素級語義分割，然后利用標定后的攝像機參數(shù)將這些標簽反投影到三維模型中并融合在一起。

由于三維物體在不同場景中的種類和形狀各異，很難有適合大多數(shù)場景的通用方法。三維語義模型可幫助人類和自動化系統(tǒng)知道在特定場景中“什么對象”在“什么地方”，并在自動駕駛，增強現(xiàn)實和機器人等領(lǐng)域具有多種應(yīng)用。一個精細的大規(guī)模場景三維模型具有成千上萬個面片，一種最直接的方法就是對其進行手工標注。然而，現(xiàn)在并沒有有效的工具對每一個面片進行手工標注，并且現(xiàn)有的深度學(xué)習(xí)技術(shù)也無法處理大規(guī)模場景的三維模型。因此尋找一種可以對大規(guī)模場景三維模型進行標注的方法是十分有必要的。

針對相關(guān)技術(shù)中的問題，目前尚未提出有效的解決方案，為此，我們提出一種基于大規(guī)模場景三維模型精細語義標注方法。

發(fā)明內(nèi)容

(一)解決的技術(shù)問題

針對現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于大規(guī)模場景三維模型精細語義標注方法，解決了背景技術(shù)中提到的問題。

(二)技術(shù)方案

為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于大規(guī)模場景三維模型精細語義標注方法，在主動學(xué)習(xí)(Active Learning)框架下迭代執(zhí)行以下幾個步驟：

S1使用不斷擴大的帶標記圖像集對CNN進行語義分割網(wǎng)絡(luò)訓(xùn)練，然后使用訓(xùn)練的CNN獲取未標記圖像的像素級語義標簽；

S2利用標定后的攝像機參數(shù)將所有圖像中的像素標簽反投影到三維網(wǎng)格模型上，然后使用MRF優(yōu)化方法對標簽及三維網(wǎng)格模型進行融合，通過結(jié)合二維語義標簽和三維幾何特征，給每個面片一個單獨的標簽；

S3以融合后的語義三維模型作為監(jiān)督者，應(yīng)用批量圖像選擇方法，選取多幅有價值的圖像進行標注，在被手動標記之后，這些圖像被合并到訓(xùn)練集中，準備下一次迭代；

S4訓(xùn)練-融合-選擇過程將不斷進行，直到模型的標簽變得穩(wěn)定，即在先前和當(dāng)前迭代中同一面片具有不同標簽的百分比低于閾值η。

優(yōu)選的，該方法以SfM和MVS重建的三維網(wǎng)格模型和標定后的圖像為輸入，輸出三維語義網(wǎng)格模型，每個面片都被貼上語義標簽，不同顏色代表不同類別。

優(yōu)選的，所述SfM為由多條的channel水平和垂直交錯而成，每條channel提供8Gbps交換能力(supervisor720提供每channel 20Gpbs)，矩陣交換的最大優(yōu)點是允許多個相互不沖突的交換同時進行，并支持點對多點(Multicast)的交換。