[發(fā)明專利]基于距離圖像和強(qiáng)度圖像的駕駛員人臉定位系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201310731309.3
• 申請(qǐng)日: 2013-12-26
• 公開（公告）號(hào): CN103714321B
• 公開（公告）日: 2017-09-26
• 發(fā)明（設(shè)計(jì)）人: 張偉;成波
• 申請(qǐng)（專利權(quán)）人: 蘇州清研微視電子科技有限公司;清華大學(xué)蘇州汽車研究院（吳江）
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/20
• 代理公司: 蘇州創(chuàng)元專利商標(biāo)事務(wù)所有限公司32103
• 代理人: 范晴,夏振

1.一種基于距離圖像和強(qiáng)度圖像的駕駛員人臉定位系統(tǒng)，包括圖像采集裝置、圖像處理裝置和定位裝置，其特征在于所述圖像采集裝置，至少包括1個(gè)距離圖像傳感器、1個(gè)CMOS攝像頭和2個(gè)紅外攝像頭，用于實(shí)時(shí)采集駕駛員的強(qiáng)度圖像和距離圖像，并將采集的強(qiáng)度圖像和距離圖像傳輸給圖像處理裝置；所述圖像處理裝置用于對(duì)采集的駕駛員的強(qiáng)度圖像和距離圖像進(jìn)行處理；所述定位裝置用于根據(jù)處理后強(qiáng)度圖像和距離圖像識(shí)別駕駛員的人臉位置和大小，并對(duì)人臉圖像進(jìn)行跟蹤和駕駛員人臉位置定位；所述定位裝置包括距離圖像傳感器應(yīng)用模塊和人臉檢測(cè)模塊，所述距離圖像傳感器應(yīng)用模塊，通過距離圖像傳感器獲取圖像深度信息，并將獲取到的深度信息與同一時(shí)刻的強(qiáng)度圖像信息相結(jié)合；所述人臉檢測(cè)模塊，融合距離圖像和強(qiáng)度圖像信息，檢測(cè)出強(qiáng)度圖像中人臉部分的位置和大小；

所述圖像處理裝置對(duì)圖像進(jìn)行處理的方法包括：

(1)對(duì)于距離圖像，通過下列步驟初步確定駕駛員人臉部分的位置：對(duì)采集到的距離圖像進(jìn)行灰度化處理，然后轉(zhuǎn)換為二值圖像，并進(jìn)行邊緣提取，進(jìn)行形態(tài)學(xué)膨脹和腐蝕運(yùn)算，然后進(jìn)行輪廓提取，最后進(jìn)行寬度投影，并根據(jù)寬度投影曲線，找出從輪廓曲線的頂點(diǎn)開始第一次出現(xiàn)的極大值及極小值分別對(duì)應(yīng)的像素位置，即可計(jì)算出人臉圖像的位置；

(2)對(duì)強(qiáng)度圖像的處理包括訓(xùn)練人臉檢測(cè)分類器和訓(xùn)練人眼檢測(cè)分類器；

所述訓(xùn)練人臉檢測(cè)分類器包括：

選取多表情、多角度、多光照變化情況下的人臉圖像的強(qiáng)度圖像，進(jìn)行預(yù)處理并歸一化為一定大小的正樣本；從視頻序列中截取不同背景、不同光照變化情況下不含人臉任何部分的圖像，進(jìn)行預(yù)處理并歸一化為一定大小作為負(fù)樣本，然后提取樣本圖片的Harr特征，并利用“積分圖”計(jì)算特征值，最后基于Adaboost方法訓(xùn)練人臉檢測(cè)分類器；

所述訓(xùn)練人眼檢測(cè)分類器包括：

采集不同駕駛員在不同光照、是否戴眼鏡情況下的人眼圖像的強(qiáng)度圖像及不含人眼任何部分的圖像，進(jìn)行預(yù)處理并歸一化為一定大小的人眼樣本后，采用Harr特征與Adaboost相結(jié)合的方法訓(xùn)練人眼檢測(cè)分類器；對(duì)最新獲取的強(qiáng)度圖像，進(jìn)行圖像預(yù)處理，然后使用訓(xùn)練好的人臉檢測(cè)分類器進(jìn)行人臉檢測(cè)，得到人臉部分的圖像的位置和大小；

(3)強(qiáng)度圖像和距離圖像信息的融合，具體為：

經(jīng)過上述步驟，在同一時(shí)刻采集到的距離圖像I1和強(qiáng)度圖像I2上，分別初步獲得了人臉區(qū)域的位置和大小，并用人臉區(qū)域左上角的像素坐標(biāo)及人臉區(qū)域的寬度和長(zhǎng)度來表示，分別記為J(x1,y1)、w1、h1和Q(x2,y2)、w2、h2；

距離圖像I1和強(qiáng)度圖像I2大小相同，在同一時(shí)刻，人臉區(qū)域在兩幅圖像上的相對(duì)位置也大致重合，當(dāng)在兩幅圖像上都檢測(cè)出人臉區(qū)域，且人臉區(qū)域的位置和大小相對(duì)應(yīng)時(shí)，即可按下式得到精確的人臉區(qū)域信息，作為人臉檢測(cè)結(jié)果，記為F(x,y)、w、h：

x=min(x1,x2)+|x1-x2|2y=min(y1,y2)+|y1-y2|2w=min(w1,w2)+|w1-w2|2h=min(h1,h2)+|h1-h2|2.]]> 1