[發(fā)明專利]圖像目標(biāo)三維信息標(biāo)注方法

在審

• 申請?zhí)枺?/td>: 201910485927.1
• 申請日: 2019-06-05
• 公開（公告）號: CN110390258A
• 公開（公告）日: 2019-10-29
• 發(fā)明（設(shè)計）人: 李煊鵬;李宇杰;薛啟凡;趙靖文;羅佳奕
• 申請（專利權(quán)）人: 東南大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06T7/60;G06T7/70
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 趙淑芳

本發(fā)明公開了一種圖像目標(biāo)三維信息標(biāo)注方法，包括以下步驟：三維信息標(biāo)注模塊讀取圖像，根據(jù)圖像中目標(biāo)所在區(qū)域繪制生成二維矩形檢測框；根據(jù)三維檢測框部分頂點(diǎn)位于二維檢測框邊的關(guān)系，生成原始的三維檢測框；選擇三維檢測框頂點(diǎn)標(biāo)記對原始三維檢測框進(jìn)行調(diào)整，生成可描述目標(biāo)三維尺寸的準(zhǔn)確三維檢測框；三維物理信息解算模塊讀取相機(jī)標(biāo)定數(shù)據(jù)或相機(jī)內(nèi)參矩陣和圖像深度信息數(shù)據(jù)，得到目標(biāo)在相機(jī)坐標(biāo)系下的投影坐標(biāo)，進(jìn)而得出目標(biāo)的物理尺寸，包括長L、寬W以及航向α。本發(fā)明通過對單一圖像數(shù)據(jù)中的目標(biāo)進(jìn)行三維標(biāo)記獲得尺寸、坐標(biāo)與目標(biāo)航向等具體信息，可加載相應(yīng)的相機(jī)標(biāo)定數(shù)據(jù)，實(shí)現(xiàn)像素坐標(biāo)與相機(jī)坐標(biāo)的轉(zhuǎn)換，得到目標(biāo)真實(shí)的三維信息，有利于目標(biāo)檢測、跟蹤等算法的實(shí)現(xiàn)。

技術(shù)領(lǐng)域

本分明涉及圖像信息標(biāo)注，具體涉及一種圖像目標(biāo)三維信息標(biāo)注方法。

背景技術(shù)

隨著人工智能和無人駕駛技術(shù)的日趨發(fā)展，對計算機(jī)視覺算法和深度學(xué)習(xí)的研究成為了學(xué)術(shù)界的熱點(diǎn)課題，而視覺算法，包括目標(biāo)檢測與跟蹤等算法的實(shí)現(xiàn)與發(fā)展必須有龐大的、準(zhǔn)確的道路、街景樣例數(shù)據(jù)的支持。

圖像標(biāo)注工具可以快速、高效地制作算法實(shí)現(xiàn)需要的樣例數(shù)據(jù)集。目前已經(jīng)存在多種二維目標(biāo)標(biāo)記工具，例如labelImg、yolo_mark、Vatic等，這類工具可用于對圖像中目標(biāo)進(jìn)行二維信息標(biāo)注，包含目標(biāo)二維檢測框的像素坐標(biāo)以及目標(biāo)類別，可基本滿足大多數(shù)基于深度學(xué)習(xí)的二維目標(biāo)檢測等算法實(shí)現(xiàn)的數(shù)據(jù)集制作要求。隨著深度學(xué)習(xí)算法研究的不斷深入，以及智能駕駛中對車輛等目標(biāo)三維信息的需求，對三維目標(biāo)檢測與跟蹤等算法的研究也逐漸成為熱點(diǎn)課題，中國專利CN108829435提供了一種圖像標(biāo)注方法及通用圖像標(biāo)記工具，實(shí)現(xiàn)了二維的打點(diǎn)標(biāo)繪、標(biāo)線標(biāo)繪、標(biāo)框標(biāo)繪和區(qū)域標(biāo)繪，但未能解決圖像目標(biāo)的三維信息標(biāo)注。

發(fā)明內(nèi)容

發(fā)明目的：本發(fā)明的目的是提供一種圖像目標(biāo)三維信息標(biāo)注方法，解決現(xiàn)有標(biāo)注方法不能實(shí)現(xiàn)圖像目標(biāo)的三維信息標(biāo)注的問題。

技術(shù)方案：本發(fā)明所述的圖像目標(biāo)三維信息標(biāo)注方法，包括以下步驟：

(1)三維信息標(biāo)注模塊讀取圖像，根據(jù)圖像中目標(biāo)所在區(qū)域繪制生成二維矩形檢測框；

(2)根據(jù)三維檢測框部分頂點(diǎn)位于二維檢測框邊的關(guān)系，生成原始的三維檢測框；

(3)根據(jù)圖像中目標(biāo)尺寸與航向，選擇三維檢測框頂點(diǎn)標(biāo)記對原始三維檢測框進(jìn)行調(diào)整，使其準(zhǔn)確描述圖像中的目標(biāo)尺寸；

(4)三維物理信息解算模塊讀取相機(jī)標(biāo)定數(shù)據(jù)或相機(jī)內(nèi)參矩陣和圖像深度信息數(shù)據(jù)，得到目標(biāo)在相機(jī)坐標(biāo)系下的投影坐標(biāo)，進(jìn)而得出目標(biāo)的物理尺寸，包括長L、寬W以及航向α。

其中，所述步驟(1)具體為：根據(jù)圖像輪廓選擇二維檢測框的起始點(diǎn)，獲取該起始點(diǎn)的像素坐標(biāo)(x0，y0)，該起始點(diǎn)為目標(biāo)二維檢測框的左上頂點(diǎn)，生成二維檢測框區(qū)域，并獲取二維檢測框的右下頂點(diǎn)的像素坐標(biāo)(x1，y1)。

所述步驟(2)具體為：根據(jù)目標(biāo)預(yù)設(shè)航向，選擇目標(biāo)二維檢測框的任一頂點(diǎn)作為三維檢測框的起始點(diǎn)(x’0，y’0)，二維檢測框中的對頂點(diǎn)作為終止點(diǎn)(x’7，y’7)，根據(jù)預(yù)設(shè)的二維檢測框長寬與三維檢測框長寬比，確定三維檢測框其他頂點(diǎn)坐標(biāo)，三維檢測框坐標(biāo)為[(x’0，y’0)，(x’1，y’1)......(x’7，y’7)]。

所述步驟(4)中，相機(jī)標(biāo)定數(shù)據(jù)包括相機(jī)的安裝角、偏移距離和內(nèi)參矩陣。

所述步驟(4)中讀取相機(jī)標(biāo)定數(shù)據(jù)，對三維檢測框的底部四頂點(diǎn)像素坐標(biāo)進(jìn)行反向投影變換，獲得相機(jī)坐標(biāo)系下的投影坐標(biāo)(x₁，y₁)......(x₄，y₄)，解算得出目標(biāo)的物理尺寸長L、寬W以及航向α：

W＝x₁-x₂