[發(fā)明專利]一種用于視覺算法迭代優(yōu)化的系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 202110901682.3
• 申請日: 2021-08-06
• 公開（公告）號: CN113643431A
• 公開（公告）日: 2021-11-12
• 發(fā)明（設計）人: 宗文豪;王瀟
• 申請（專利權）人: 舵敏智能科技（蘇州）有限公司
• 主分類號: G06T17/05
• 分類號: G06T17/05;G06T19/20;G06T7/73
• 代理公司: 上海百一領御專利代理事務所(普通合伙) 31243
• 代理人: 王奎宇;楊顏顏

本申請的目的是提供一種用于視覺算法迭代優(yōu)化的系統(tǒng)及方法，該系統(tǒng)中每一數(shù)據(jù)采集模塊用于采集所在車輛的行車數(shù)據(jù)；視覺地圖模塊用于根據(jù)當前場景內的所有車輛的行車數(shù)據(jù)構建抽象點云地圖，并確定當前場景內的所有車輛的位姿信息；維度轉換模塊用于根據(jù)所述抽象點云地圖計算出對應的三維點云信息，以進行重建三維場景；自標注模塊用于在重建的三維場景中自動標注交通目標，得到標注信息；模型訓練模型用于根據(jù)所述標注信息迭代訓練所述視覺地圖模塊、維度轉換模塊及所述自標注模塊，并將迭代訓練結果反饋至當前場景對應的數(shù)據(jù)采集模塊。從而實現(xiàn)視覺算法的協(xié)同迭代優(yōu)化，低成本高效率提升視覺算法性能。

技術領域

本申請涉及無人駕駛領域，尤其涉及一種用于視覺算法迭代優(yōu)化的系統(tǒng)及方法。

背景技術

現(xiàn)有無人駕駛系統(tǒng)多采用多傳感器方案，即使用激光雷達、高性能導航設備、相機等多種傳感器，該方案的成本較為昂貴。近些年，隨著視覺算法的改進和芯片算力的提升，僅采用相機傳感器的視覺方案成為可能。視覺方案相比多傳感器方案具有成本更低：單個相機成本僅在百元級別；更易于部署：車載相機安裝簡單，量產安裝方案成熟；數(shù)據(jù)更易于獲取：圖像數(shù)據(jù)獲取快、幀率高、壓縮算法成熟。并且攝像頭能獲得最為豐富的信息，相比激光雷達有其不可替代性，今后無論激光雷達等其他傳感器如何發(fā)展，視覺相關算法的地位不會被替代，并且事實也證明在全球主流OEM的新車型上，攝像頭也朝著數(shù)量越來越多，像素、幀率、動態(tài)響應越來越高的方向在發(fā)展。

現(xiàn)有的技術方案無法低成本高效率的提升視覺算法性能。現(xiàn)有的視覺建圖技術在得到點云地圖之后，需要人工從地圖中標記出車道的拓撲結構和語義信息。當實際場景發(fā)生變化時，需要人工對地圖進行更新和維護。這個過程中人力成本高、效率低?，F(xiàn)有的2D到3D技術需要依賴其他高精度傳感器來獲得高精度相機位姿來完成場景三維重建，由于位姿精度有限，其場景重建性能無法滿足自動標注需求。由于缺少自動標注信息，模型訓練需要引入人工標注信息，然而圖像僅有2D信息無法標注3D信息，因此現(xiàn)有技術仍需引入高成本激光雷達輔助目標標注。除此之外，現(xiàn)有的方案將各個視覺算法獨立優(yōu)化，低成本條件下的輸入信息無法有效改善，其優(yōu)化性能必然存在瓶頸。

發(fā)明內容

本申請的一個目的是提供一種用于視覺算法迭代優(yōu)化的系統(tǒng)及方法，解決現(xiàn)有技術中無法低成本高效率的提升視覺算法性能的問題。

根據(jù)本申請的一個方面，提供了一種用于視覺算法迭代優(yōu)化的系統(tǒng)，該系統(tǒng)包括：

至少一個數(shù)據(jù)采集模塊、視覺地圖模塊、維度轉換模塊、自標注模塊及模型訓練模塊；其中，

每一數(shù)據(jù)采集模塊用于采集所在車輛的行車數(shù)據(jù)；

所述視覺地圖模塊用于根據(jù)當前場景內的所有車輛的行車數(shù)據(jù)構建抽象點云地圖，并確定當前場景內的所有車輛的位姿信息；

所述維度轉換模塊用于根據(jù)所述抽象點云地圖計算出對應的三維點云信息，以進行重建三維場景；

所述自標注模塊用于在重建的三維場景中自動標注交通目標，得到標注信息，并將標注信息發(fā)送至所述模型訓練模塊；

所述模型訓練模型用于根據(jù)所述標注信息迭代訓練所述視覺地圖模塊、維度轉換模塊及所述自標注模塊，并將迭代訓練結果反饋至當前場景對應的數(shù)據(jù)采集模塊，以完成視覺算法的迭代優(yōu)化。

可選地，所述行車數(shù)據(jù)包括行車圖像，所述視覺地圖模塊用于將當前場景內的所有車輛的行車圖像在所述抽象點云地圖中進行定位，得到當前場景內的所有車輛的位姿信息。

可選地，所述維度轉換模塊用于根據(jù)所述抽象點云地圖計算出對應的三維點云信息，根據(jù)所述三維點云信息以及所述視覺地圖模塊中的所述所有車輛的位姿信息重建三維場景，將重建得到的三維場景信息發(fā)送至所述自標注模塊。

可選地，所述系統(tǒng)包括云端數(shù)據(jù)庫，所述云端數(shù)據(jù)庫用于接收由所述數(shù)據(jù)采集模塊將采集到的行車數(shù)據(jù)壓縮成數(shù)據(jù)流后傳輸?shù)臄?shù)據(jù)，并按照時間和車輛標識作為索引進行存儲。