[發(fā)明專利]一種多模態(tài)無監(jiān)督的行人像素級語義標(biāo)注方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011615688.6
• 申請日: 2020-12-30
• 公開（公告）號: CN112766061A
• 公開（公告）日: 2021-05-07
• 發(fā)明（設(shè)計(jì)）人: 彭鷺斌;蘇松志;蘇松劍;蔡國榕;陳延藝;陳延行
• 申請（專利權(quán)）人: 羅普特科技集團(tuán)股份有限公司;羅普特（廈門）系統(tǒng)集成有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T5/30;G06T7/33;G06T17/00
• 代理公司: 廈門福貝知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 35235
• 代理人: 陳遠(yuǎn)洋

1.一種多模態(tài)無監(jiān)督的行人像素級語義標(biāo)注方法，其特征在于，包括：

S1：對無人的監(jiān)控場景進(jìn)行三維重建，獲取所述監(jiān)控場景的初始點(diǎn)云信息；

S2：利用Tof圖像采集設(shè)備獲取所述監(jiān)控場景中的第一點(diǎn)云信息，將其與初始點(diǎn)云信息配準(zhǔn)后進(jìn)行集合的差運(yùn)算，獲得第二點(diǎn)云信息，并將所述第二點(diǎn)云信息在水平面上進(jìn)行投影，獲得人員點(diǎn)云信息集合；

S3：對紅外圖像采集設(shè)備獲取的場景信息閾值化后的二值化圖像進(jìn)行膨脹和腐蝕，獲得連通區(qū)域信息集合；以及

S4：分別將所述人員點(diǎn)云信息集合和所述連通區(qū)域信息集合，利用已經(jīng)標(biāo)定的相機(jī)之間的位置關(guān)系，投影到RGB圖像采集設(shè)備的圖像平面空間中進(jìn)行集合的交集運(yùn)算，響應(yīng)于共同像素超過第一閾值時(shí)，獲取對應(yīng)的人體區(qū)域集合。

2.根據(jù)權(quán)利要求1所述的多模態(tài)無監(jiān)督的行人像素級語義標(biāo)注方法，其特征在于，所述步驟S1具體包括：

在所述無人的監(jiān)控場景中任取一原點(diǎn)，建立三維坐標(biāo)系；

在x軸和z軸方向上間隔設(shè)置m*n個(gè)點(diǎn)位作為RGB圖像采集設(shè)備的圖像采集位置，對俯仰角、偏航角和滾轉(zhuǎn)角分別間隔k度選擇拍攝角度，采集M＝m*n*(180/k)*(180/k)*(180/k)張圖像；

利用Structure from motion的三維重建算法對M張圖像進(jìn)行所述監(jiān)控場景的三維重建，并獲取所述初始點(diǎn)云信息。

3.根據(jù)權(quán)利要求1所述的多模態(tài)無監(jiān)督的行人像素級語義標(biāo)注方法，其特征在于，利用迭代最近點(diǎn)算法將第一點(diǎn)云信息和初始點(diǎn)云信息進(jìn)行配準(zhǔn)。

4.根據(jù)權(quán)利要求2所述的多模態(tài)無監(jiān)督的行人像素級語義標(biāo)注方法，其特征在于，將第二點(diǎn)云信息在所述三維坐標(biāo)系的XY平面進(jìn)行投影，基于霍夫變換獲得若干圓形區(qū)域，將屬于同一個(gè)圓形區(qū)域所對應(yīng)的點(diǎn)云信息納入所述人員點(diǎn)云信息集合中。

5.根據(jù)權(quán)利要求1所述的多模態(tài)無監(jiān)督的行人像素級語義標(biāo)注方法，其特征在于，所述步驟S3中對二值化圖像進(jìn)行膨脹和腐蝕之后，還包括去除像素區(qū)域小于第二閾值的區(qū)域。

6.根據(jù)權(quán)利要求5所述的多模態(tài)無監(jiān)督的行人像素級語義標(biāo)注方法，其特征在于，所述第一閾值取自20*40-80*160的范圍內(nèi)，第二閾值取自1000-8196的范圍內(nèi)。

7.根據(jù)權(quán)利要求1所述的多模態(tài)無監(jiān)督的行人像素級語義標(biāo)注方法，其特征在于，在所述監(jiān)控場景中分別安裝Tof圖像采集設(shè)備、紅外圖像采集設(shè)備和RGB圖像采集設(shè)備，利用初始點(diǎn)云信息分別計(jì)算所述Tof圖像采集設(shè)備、紅外圖像采集設(shè)備和RGB圖像采集設(shè)備的位置關(guān)系以及姿態(tài)信息。

8.根據(jù)權(quán)利要求7所述的多模態(tài)無監(jiān)督的行人像素級語義標(biāo)注方法，其特征在于，位置關(guān)系以及姿態(tài)信息的具體獲取方式包括：

利用Tof圖像采集設(shè)備獲取所述監(jiān)控場景的深度圖像，結(jié)合初始點(diǎn)云信息利用迭代最近點(diǎn)算法獲取所述Tof圖像采集設(shè)備在所述監(jiān)控場景中的自由度位姿；

利用紅外圖像采集設(shè)備和RGB圖像采集設(shè)備獲取所述監(jiān)控場景的彩色圖像，利用SIFT描述子和Bag of words詞袋特征描述算法，根據(jù)采集的圖像和所述初始點(diǎn)云信息，基于Bundle Adjustment光束法平差算法，獲取紅外圖像采集設(shè)備和RGB圖像采集設(shè)備的位置和姿態(tài)信息。

9.根據(jù)權(quán)利要求7或8所述的多模態(tài)無監(jiān)督的行人像素級語義標(biāo)注方法，其特征在于，根據(jù)所述位置關(guān)系、姿態(tài)信息和圖像采集設(shè)備的內(nèi)參，獲得所述Tof圖像采集設(shè)備與所述紅外圖像采集設(shè)備的第一變換矩陣、所述Tof圖像采集設(shè)備與所述RGB圖像采集設(shè)備的第二變換矩陣、所述紅外圖像采集設(shè)備與所述RGB圖像采集設(shè)備的第三變換矩陣。