[發(fā)明專利]一種基于雙目攝像頭的目標(biāo)識(shí)別與定位方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910625272.3
• 申請(qǐng)日: 2019-07-11
• 公開（公告）號(hào): CN110458025B
• 公開（公告）日: 2022-10-14
• 發(fā)明（設(shè)計(jì)）人: 顏俊;吳超輝;楊孟渭;康彬
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V10/764;G06V10/774;G06V10/82;G06N3/04
• 代理公司: 南京蘇科專利代理有限責(zé)任公司 32102
• 代理人: 姚姣陽(yáng);徐振興

1.一種雙目攝像頭的目標(biāo)識(shí)別與定位方法，其特征在于，該方法包括如下步驟：步驟1：利用人臉圖片訓(xùn)練數(shù)據(jù)庫(kù)，進(jìn)行基于卷積神經(jīng)網(wǎng)絡(luò)CNN的分類學(xué)習(xí)，得到基于人臉識(shí)別的分類模型；

步驟2：利用圖片的深度信息，進(jìn)行基于支持向量機(jī)SVM的回歸學(xué)習(xí)，得到距離回歸函數(shù)，構(gòu)建圖片深度信息與目標(biāo)距離攝像頭距離的關(guān)系；

步驟3：通過攝像頭拍攝目標(biāo)，利用獲得的人臉照片，通過人臉分類模型完成人員目標(biāo)識(shí)別；

步驟4：同時(shí)利用拍攝圖片的深度信息，計(jì)算目標(biāo)距離攝像頭的距離，實(shí)現(xiàn)人員定位；

步驟1：利用雙目攝像頭拍攝待識(shí)別人員人臉圖像信息，建立人員目標(biāo)標(biāo)簽和人臉圖片數(shù)據(jù)庫(kù)；利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)人員目標(biāo)標(biāo)簽和人臉圖片數(shù)據(jù)庫(kù)進(jìn)行離線分類學(xué)習(xí)，得到人員目標(biāo)識(shí)別分類模型；

步驟2：記錄拍攝點(diǎn)位置信息，利用OpenCV中圖像處理技術(shù)，從雙目攝像頭拍攝深度圖片中提取拍攝圖片的深度信息，建立位置信息和深度圖片信息數(shù)據(jù)庫(kù)；利用支持向量機(jī)對(duì)位置信息和深度圖片信息數(shù)據(jù)庫(kù)進(jìn)行訓(xùn)練，學(xué)習(xí)位置信息和深度圖片信息之間的對(duì)應(yīng)關(guān)系，得到基于位置信息的回歸模型；

步驟3：使用雙目攝像頭采集目標(biāo)的運(yùn)動(dòng)信息，雙目攝像頭拍攝到人員圖片后，使用人臉檢測(cè)算法，對(duì)檢測(cè)到的人臉圖像通過裁剪處理，輸入到上述步驟1人員目標(biāo)識(shí)別分類模型中，實(shí)現(xiàn)人員的識(shí)別；

步驟4：當(dāng)系統(tǒng)檢測(cè)到目標(biāo)后，會(huì)自動(dòng)處理采集到的目標(biāo)的深度圖片信息，然后輸入到上述步驟2的基于位置信息的回歸模型中，得到目標(biāo)離攝像頭的具體位置，進(jìn)而得到目標(biāo)位置，實(shí)現(xiàn)人員的定位。

2.根據(jù)權(quán)利要求1所述的雙目攝像頭的目標(biāo)識(shí)別與定位方法，其特征在于，步驟1和步驟2為離線階段，步驟3和步驟4為在線階段。

3. 根據(jù)權(quán)利要求1所述的雙目攝像頭的目標(biāo)識(shí)別與定位方法，其特征在于，人臉檢測(cè)算法為級(jí)聯(lián)分類器Cascade Classifier算法。

4.根據(jù)權(quán)利要求3所述的雙目攝像頭的目標(biāo)識(shí)別與定位方法，其特征在于，離線階段和在線階段具體為：

（1）人員的識(shí)別過程：

本模塊功能：首先調(diào)用人臉檢測(cè)模塊，當(dāng)檢測(cè)到人臉后，對(duì)檢測(cè)到的人臉圖像加以裁剪處理，然后輸入到已經(jīng)訓(xùn)練好的人員目標(biāo)識(shí)別分類模型中，該模型會(huì)自動(dòng)識(shí)別被檢測(cè)的人員，得到識(shí)別結(jié)果；其中，基于卷積神經(jīng)網(wǎng)絡(luò)的人員目標(biāo)識(shí)別分類模型分為兩個(gè)階段：離線階段和在線階段；

離線階段：利用雙目攝像頭拍攝待識(shí)別人員人臉圖像信息，建立人員目標(biāo)標(biāo)簽,人臉圖片數(shù)據(jù)庫(kù)；利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)人員目標(biāo)標(biāo)簽,人臉圖片數(shù)據(jù)庫(kù)進(jìn)行離線分類學(xué)習(xí)，得到人員目標(biāo)識(shí)別分類模型；

在線階段：雙目攝像頭拍攝到人員圖片后，使用人臉檢測(cè)算法，對(duì)檢測(cè)到的人臉圖像通過裁剪處理，利用人員目標(biāo)識(shí)別分類模型，實(shí)現(xiàn)人員的識(shí)別；

（2）人員的定位過程：

基于支持向量機(jī)的人員定位回歸模型分為兩個(gè)階段：離線階段和在線階段；

離線階段：記錄拍攝點(diǎn)位置信息，從雙目攝像頭拍攝深度圖片中提取拍攝圖片的深度信息，建立位置信息,深度圖片信息數(shù)據(jù)庫(kù)；利用支持向量機(jī)對(duì)位置信息,深度圖片信息數(shù)據(jù)庫(kù)進(jìn)行訓(xùn)練，學(xué)習(xí)位置信息和深度圖片信息之間的對(duì)應(yīng)關(guān)系，得到基于位置信息的回歸模型；

在線階段：在未知位置使用雙目攝像頭采集視頻信息，當(dāng)檢測(cè)到人員后，處理對(duì)應(yīng)的深度信息圖片，將其像素信息進(jìn)行歸一化處理，利用位置信息的回歸模型，得到目標(biāo)離攝像頭的具體位置，進(jìn)而得到目標(biāo)位置。

5.基于雙目攝像頭的人員識(shí)別與定位系統(tǒng)，包括人員識(shí)別系統(tǒng)以及人員定位系統(tǒng)，其特征在于：硬件設(shè)備主要有：圖像采集設(shè)備、算法處理設(shè)備以及顯示設(shè)備；

圖像采集設(shè)備：使用小覓雙目攝像頭完成圖像采集工作，型號(hào)為S系列，攝像頭參數(shù)為：Replacable Standard M12鏡頭，USB3.0接口；

算法處理設(shè)備：采集后的圖像數(shù)據(jù)，需要進(jìn)行人員的識(shí)別和定位處理，仿真實(shí)驗(yàn)都是在計(jì)算機(jī)上實(shí)現(xiàn)，其具體的配置：Intel Core i5-7300HQ CPU 2.50GHz,內(nèi)存為7.89G；

系統(tǒng)顯示設(shè)備：算法處理后結(jié)果需要顯示并輸出，采用計(jì)算機(jī)的顯示器來完成此項(xiàng)功能。