[發明專利]一種多模態無監督的行人像素級語義標注方法和系統

在審

• 申請號: 202011615688.6
• 申請日: 2020-12-30
• 公開（公告）號: CN112766061A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 彭鷺斌;蘇松志;蘇松劍;蔡國榕;陳延藝;陳延行
• 申請（專利權）人: 羅普特科技集團股份有限公司;羅普特（廈門）系統集成有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T5/30;G06T7/33;G06T17/00
• 代理公司: 廈門福貝知識產權代理事務所(普通合伙) 35235
• 代理人: 陳遠洋

本發明給出了一種多模態無監督的行人像素級語義標注方法和系統，包括對無人的監控場景進行三維重建，獲取監控場景的初始點云信息；利用Tof圖像采集設備獲取監控場景中的第一點云信息，將其與初始點云信息配準后進行集合的差運算，獲得第二點云信息，并將第二點云信息在水平面上進行投影，獲得人員點云信息集合；對紅外圖像采集設備獲取的場景信息閾值化后的二值化圖像進行膨脹和腐蝕，獲得連通區域信息集合；分別將人員點云信息集合和連通區域信息集合，利用已經標定的相機之間的位置關系，投影到RGB圖像采集設備的圖像平面空間中進行集合的交集運算，響應于共同像素超過第一閾值時，獲取對應的人體區域集合。該方法和系統充分融合了不同模態攝像機的優點，可以有效提取出場景中的人體像素點。

技術領域

本發明涉及目標檢測的技術領域，尤其是一種多模態無監督的行人像素級語義標注方法和系統。

背景技術

行人檢測是計算機視覺中的經典問題，其相關技術可以應用在視頻監控和自動駕駛等領域中。目前的常用方法是首先拍攝大量包含行人的樣本，然后手動標注出行人在圖片中的位置作為訓練數據；最后，采用監督學習方法(比如支持向量機、深度學習)訓練一個分類器，區分行人和非行人區域。隨機深度學習技術的發展，所需的訓練樣本數量越來越大。標注大量的樣本是一件耗時耗力的事情。

行人檢測技術按照輸入數據的格式，可以分為基于二維圖像(包含彩色和灰度的)的方法；基于三維點云的方法；基于紅外成像的方法。從技術的角度上看，可分為：整體法、部位法和局部塊法。上述的這些方法，大部分利用機器學習中的有監督分類技術。有監督分類技術需要標注出行人在圖片中的位置，因此需要耗費大量的人力物力和財力。

發明內容

為了解決現有技術中需要耗費大量的人力物力和財力標注出行人在圖片中的位置的技術問題，本發明提出了一種多模態無監督的行人像素級語義標注方法和系統，免去人工標注行人樣本的麻煩。

根據本發明的一個方面，提出了一種多模態無監督的行人像素級語義標注方法，包括：

S1：對無人的監控場景進行三維重建，獲取監控場景的初始點云信息；

S2：利用Tof圖像采集設備獲取監控場景中的第一點云信息，將其與初始點云信息配準后進行集合的差運算，獲得第二點云信息，并將第二點云信息在水平面上進行投影，獲得人員點云信息集合；

S3：對紅外圖像采集設備獲取的場景信息閾值化后的二值化圖像進行膨脹和腐蝕，獲得連通區域信息集合；以及

S4：分別將人員點云信息集合和連通區域信息集合，利用已經標定的相機之間的位置關系，投影到RGB圖像采集設備的圖像平面空間中進行集合的交集運算，響應于共同像素超過第一閾值時，獲取對應的人體區域集合。

在一些具體的實施例中，步驟S1具體包括：

在無人的監控場景中任取一原點，建立三維坐標系；

在x軸和z軸方向上間隔設置m*n個點位作為RGB圖像采集設備的圖像采集位置，對俯仰角、偏航角和滾轉角分別間隔k度選擇拍攝角度，采集M＝m*n*(180/k)*(180/k)*(180/k)張圖像；

利用Structure from motion的三維重建算法對M張圖像進行監控場景的三維重建，并獲取初始點云信息。利用STM算法可以從一個運動物體或場景的投影的二維運動領域恢復出三維結構。

在一些具體的實施例中，利用迭代最近點算法將第一點云信息和初始點云信息進行配準。憑借該步驟可以對不同采集設備獲取的圖像進行配準。

在一些具體的實施例中，將第二點云信息在三維坐標系的XY平面進行投影，基于霍夫變換獲得若干圓形區域，將屬于同一個圓形區域所對應的點云信息納入人員點云信息集合中。