[發(fā)明專利]一種用于視覺算法迭代優(yōu)化的系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110901682.3
• 申請(qǐng)日: 2021-08-06
• 公開（公告）號(hào): CN113643431A
• 公開（公告）日: 2021-11-12
• 發(fā)明（設(shè)計(jì)）人: 宗文豪;王瀟
• 申請(qǐng)（專利權(quán)）人: 舵敏智能科技（蘇州）有限公司
• 主分類號(hào): G06T17/05
• 分類號(hào): G06T17/05;G06T19/20;G06T7/73
• 代理公司: 上海百一領(lǐng)御專利代理事務(wù)所(普通合伙) 31243
• 代理人: 王奎宇;楊顏顏

1.一種用于視覺算法迭代優(yōu)化的系統(tǒng)，其特征在于，所述系統(tǒng)包括：

至少一個(gè)數(shù)據(jù)采集模塊、視覺地圖模塊、維度轉(zhuǎn)換模塊、自標(biāo)注模塊及模型訓(xùn)練模塊；其中，

每一數(shù)據(jù)采集模塊用于采集所在車輛的行車數(shù)據(jù)；

所述視覺地圖模塊用于根據(jù)當(dāng)前場(chǎng)景內(nèi)的所有車輛的行車數(shù)據(jù)構(gòu)建抽象點(diǎn)云地圖，并確定當(dāng)前場(chǎng)景內(nèi)的所有車輛的位姿信息；

所述維度轉(zhuǎn)換模塊用于根據(jù)所述抽象點(diǎn)云地圖計(jì)算出對(duì)應(yīng)的三維點(diǎn)云信息，以進(jìn)行重建三維場(chǎng)景；

所述自標(biāo)注模塊用于在重建的三維場(chǎng)景中自動(dòng)標(biāo)注交通目標(biāo)，得到標(biāo)注信息，并將標(biāo)注信息發(fā)送至所述模型訓(xùn)練模塊；

所述模型訓(xùn)練模型用于根據(jù)所述標(biāo)注信息迭代訓(xùn)練所述視覺地圖模塊、維度轉(zhuǎn)換模塊及所述自標(biāo)注模塊，并將迭代訓(xùn)練結(jié)果反饋至當(dāng)前場(chǎng)景對(duì)應(yīng)的數(shù)據(jù)采集模塊，以完成視覺算法的迭代優(yōu)化。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述行車數(shù)據(jù)包括行車圖像，所述視覺地圖模塊用于將當(dāng)前場(chǎng)景內(nèi)的所有車輛的行車圖像在所述抽象點(diǎn)云地圖中進(jìn)行定位，得到當(dāng)前場(chǎng)景內(nèi)的所有車輛的位姿信息。

3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其特征在于，所述維度轉(zhuǎn)換模塊用于根據(jù)所述抽象點(diǎn)云地圖計(jì)算出對(duì)應(yīng)的三維點(diǎn)云信息，根據(jù)所述三維點(diǎn)云信息以及所述視覺地圖模塊中的所述所有車輛的位姿信息重建三維場(chǎng)景，將重建得到的三維場(chǎng)景信息發(fā)送至所述自標(biāo)注模塊。

4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述系統(tǒng)包括云端數(shù)據(jù)庫(kù)，所述云端數(shù)據(jù)庫(kù)用于接收由所述數(shù)據(jù)采集模塊將采集到的行車數(shù)據(jù)壓縮成數(shù)據(jù)流后傳輸?shù)臄?shù)據(jù)，并按照時(shí)間和車輛標(biāo)識(shí)作為索引進(jìn)行存儲(chǔ)。

5.根據(jù)權(quán)利要求2所述的系統(tǒng)，其特征在于，所述視覺地圖模塊用于從所述模型訓(xùn)練模塊中獲取視覺特征模型和語義識(shí)別模型，通過所述視覺特征模型對(duì)行車圖像獲取深度學(xué)習(xí)特征點(diǎn)和特征描述子信息，通過所述語義識(shí)別模型從行車圖像上識(shí)別語義信息。

6.根據(jù)權(quán)利要求5所述的系統(tǒng)，其特征在于，所述維度轉(zhuǎn)換模塊用于從所述視覺地圖模塊中獲取位姿信息和語義信息，使用視覺深度模型從所述行車圖像與所述位姿信息中獲取所述當(dāng)前場(chǎng)景的深度信息，根據(jù)視覺檢測(cè)模型以及所述語義信息對(duì)所述深度信息進(jìn)行檢測(cè)。

7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述自標(biāo)注模塊用于接收所述維度轉(zhuǎn)換模塊傳輸?shù)陌蛔诵畔ⅰ⒄Z義信息以及場(chǎng)景信息的新的行車數(shù)據(jù)，根據(jù)所述新的行車數(shù)據(jù)在所述三維場(chǎng)景中自動(dòng)標(biāo)注交通目標(biāo)，得到標(biāo)注信息，將所述標(biāo)注信息添加至所述新的行車數(shù)據(jù)中后發(fā)送至所述模型訓(xùn)練模塊中；

所述自標(biāo)注模塊用于從所述模型訓(xùn)練模塊中獲取最新的模型訓(xùn)練結(jié)果，根據(jù)所述最新的模型訓(xùn)練結(jié)果將當(dāng)前視角內(nèi)的檢測(cè)結(jié)果標(biāo)注到目標(biāo)視角內(nèi)。

8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述模型訓(xùn)練模塊用于根據(jù)接收到的包含所述標(biāo)注信息的新的行車數(shù)據(jù)進(jìn)行迭代訓(xùn)練所述視覺特征模型、所述視覺檢測(cè)模型、所述視覺深度模型以及所述語義識(shí)別模型。

9.一種用于視覺算法迭代優(yōu)化的方法，其特征在于，所述方法包括：

采集裝有車載相機(jī)的車輛的行車數(shù)據(jù)，其中，所述行車數(shù)據(jù)包括行車圖像；

根據(jù)當(dāng)前場(chǎng)景內(nèi)的所有車輛的行車數(shù)據(jù)構(gòu)建抽象點(diǎn)云地圖，并將所述行車圖像分別輸入至視覺特征模型以及語義識(shí)別模型中；

根據(jù)所述視覺特征模型的輸出結(jié)果、所述語義識(shí)別模型輸出的結(jié)果以及視覺檢測(cè)模型對(duì)當(dāng)前場(chǎng)景的深度信息進(jìn)行檢測(cè)；

根據(jù)所述抽象點(diǎn)云地圖計(jì)算出對(duì)應(yīng)的三維點(diǎn)云信息，根據(jù)所述三維點(diǎn)云信息以及檢測(cè)輸出的深度信息進(jìn)行重建三維場(chǎng)景，并得到場(chǎng)景信息；

根據(jù)所述語義信息以及場(chǎng)景信息在重建的三維場(chǎng)景中自動(dòng)標(biāo)注交通目標(biāo)，得到標(biāo)注信息；

根據(jù)所述標(biāo)注信息迭代訓(xùn)練所述視覺特征模型、所述視覺檢測(cè)模型以及所述語義識(shí)別模型，以完成視覺算法的迭代優(yōu)化。