[發(fā)明專利]基于視覺注意模型的壓縮域敏感圖像識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201210328831.2
• 申請(qǐng)日: 2012-09-06
• 公開（公告）號(hào): CN102938054A
• 公開（公告）日: 2013-02-20
• 發(fā)明（設(shè)計(jì)）人: 張菁;隋磊;卓力;李振偉
• 申請(qǐng)（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06K9/66
• 代理公司: 北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11203
• 代理人: 劉萍

1.基于視覺注意模型的壓縮域敏感圖像識(shí)別方法，其特征在于：分為兩個(gè)步驟：視覺單詞庫構(gòu)建和敏感圖像識(shí)別，其中，視覺單詞庫構(gòu)建又可細(xì)分為四個(gè)步驟：視覺注意模型建立，敏感區(qū)域檢測(cè)，特征提取和聚類分析；敏感圖像的識(shí)別則可細(xì)分為訓(xùn)練和測(cè)試兩個(gè)階段，其中訓(xùn)練階段分為五個(gè)步驟：視覺注意模型建立，敏感區(qū)域檢測(cè)，特征提取，視覺單詞直方圖建立和支持向量機(jī)分類器建立；而測(cè)試階段也分為五個(gè)步驟，前四步與訓(xùn)練階段相同，最后一步則是利用訓(xùn)練階段建立的分類器對(duì)圖像進(jìn)行識(shí)別；

當(dāng)用戶輸入圖像進(jìn)行識(shí)別時(shí)，首先檢測(cè)圖像的敏感區(qū)域，然后提取顏色、紋理、亮度和膚色特征構(gòu)建視覺單詞庫，并根據(jù)視覺單詞庫構(gòu)建描述圖像內(nèi)容的視覺單詞直方圖，最后通過支持向量機(jī)分類器對(duì)圖像類別進(jìn)行判決，得到圖像識(shí)別結(jié)果；

1）.視覺單詞庫構(gòu)架

從敏感圖像特點(diǎn)出發(fā)，運(yùn)用壓縮域圖像處理技術(shù)，根據(jù)人眼視覺注意機(jī)制，建立視覺注意模型，檢測(cè)出敏感區(qū)域，提取敏感區(qū)域的顏色、紋理、亮度和膚色壓縮域特征，構(gòu)建視覺單詞庫，具體步驟如下：

1.1視覺注意模型建立

利用壓縮域圖像處理技術(shù)進(jìn)行膚色檢測(cè)，利用從大量標(biāo)記的膚色和非膚色圖像塊中提取的顏色和紋理特征，建立決策樹模型，通過分析找到與膚色相關(guān)度最大的一組特征對(duì)應(yīng)的規(guī)則作為最終膚色模型；隨后，根據(jù)膚色判決規(guī)則計(jì)算膚色似然圖，該圖反映了原始圖像的膚色概率分布信息，圖中各點(diǎn)像素值越高膚色的可能性越大；接著，采用公式(1)對(duì)膚色似然圖進(jìn)行閾值分割，將大于閾值的圖像像素點(diǎn)判定為膚色，反之為非膚色；然后，將膚色似然圖作為顏色關(guān)注圖，并從JPEG圖像的壓縮碼流中得到圖像的亮度信息計(jì)算亮度關(guān)注圖，然后分別進(jìn)行多尺度高斯濾波，計(jì)算中央周邊差，最后進(jìn)行歸一化合并和線性組合得到視覺顯著圖，視覺顯著圖是一幅灰度圖，圖中各點(diǎn)像素值反映了顯著度的大小，即人眼關(guān)注度的大小；

I′(x,y)=255,ifI(x,y)>threshold0,otherwise---(1)]]>

式中I(x,y)是膚色似然圖中各點(diǎn)像素值，threshold是閾值，I＇(x,y)是閾值分割后圖中各點(diǎn)的像素值；

1.2?敏感區(qū)域檢測(cè)

采用閾值分割的方法對(duì)視覺顯著圖進(jìn)行初檢，保留人體的軀干信息作為敏感區(qū)域，并利用該區(qū)域外接矩形，將其劃分成若干個(gè)大小相同的圖像塊，保留包含敏感區(qū)域的塊，這樣就可以得到許多包含人體性器官的圖像塊，最后分別提取各個(gè)塊內(nèi)的特征，并通過聚類分析建立基于敏感區(qū)域的壓縮域視覺單詞庫；

1.3?特征提取

提取敏感區(qū)域中圖像塊的特征，而且提取的特征能反映敏感區(qū)域的主要特點(diǎn)以及能夠包含敏感區(qū)域各方面的信息，利用JPEG圖像壓縮碼流中得到的亮度、顏色和紋理信息提取圖像塊中的顏色、紋理、亮度和膚色特征：

1.3.1?顏色特征

在提取敏感區(qū)域中的圖像塊時(shí)，首先從JPEG圖像壓縮碼流中提取顏色信息，構(gòu)建一幅縮略圖，然后結(jié)合敏感區(qū)域中圖像塊在縮略圖中的位置信息，提取了MPEG-7中的可伸縮顏色描述子特征；整個(gè)提取過程如下：將縮略圖中各個(gè)像素點(diǎn)由YCbCr空間轉(zhuǎn)換到HSV空間，其中H表示色調(diào)(0≤H≤360°)，S表示飽和度(0≤S≤1)，V表示亮度(0≤V≤1)，然后將H分量均勻量化成16個(gè)等級(jí)，每個(gè)等級(jí)的區(qū)間寬度為22.5°，同時(shí)將V和S均勻量化為4個(gè)等級(jí)，每個(gè)等級(jí)的區(qū)間寬度為0.25，然后分別統(tǒng)計(jì)落在各個(gè)等級(jí)區(qū)間的像素點(diǎn)在圖像塊中出現(xiàn)的次數(shù)，并歸一化到[0,1]，這樣可以得到16×4×4=256維數(shù)據(jù)；此外，利用縮略圖中像素點(diǎn)在YCbCr顏色空間的Y分量數(shù)據(jù)，并通過將該分量均勻量化成16個(gè)等級(jí)，每個(gè)等級(jí)的區(qū)間寬度為16，然后分別統(tǒng)計(jì)落在各個(gè)等級(jí)區(qū)間的像素點(diǎn)在圖像塊中出現(xiàn)的次數(shù)，并歸一化到[0,1]，得到16維亮度數(shù)據(jù)；

1.3.2紋理特征

計(jì)算邊緣直方圖描述子作為敏感區(qū)域的紋理特征，該特征提取過程如下：首先根據(jù)傳統(tǒng)像素域圖像塊邊緣方向的計(jì)算方法，結(jié)合JPEG圖像壓縮數(shù)據(jù)的區(qū)域能量方向性，檢測(cè)圖像的邊緣信息即紋理信息，得到一幅邊緣檢測(cè)圖；然后根據(jù)敏感區(qū)域中圖像塊在邊緣檢測(cè)圖中的位置信息，分別統(tǒng)計(jì)圖像塊中邊緣方向的出現(xiàn)次數(shù)，提取包含5維數(shù)據(jù)的紋理特征，然后采用公式(2)將特征數(shù)據(jù)歸一化到[0,1]；其中，邊緣方向包含無方向、0度、45度、90度和135度5類；此外，通過計(jì)算邊緣檢測(cè)圖中敏感區(qū)域內(nèi)圖像塊中邊緣像素點(diǎn)個(gè)數(shù)與區(qū)域總的像素點(diǎn)個(gè)數(shù)的比值，作為描述圖像塊紋理復(fù)雜程度的特征；

texturei′=textureiΣi=15texturei---(2)]]>

式中，texture_i是圖像塊中5類邊緣方向的出現(xiàn)次數(shù)(i=1,2,3,4,5,對(duì)應(yīng)無方向、0度、45度、90度和135度5類方向)，texture＇_i是歸一化的結(jié)果；

1.3.3膚色特征

根據(jù)膚色似然圖閾值分割的結(jié)果，結(jié)合敏感區(qū)域內(nèi)各個(gè)圖像塊在閾值分割結(jié)果圖中的位置，采用公式(3)和(4)提取了區(qū)域內(nèi)圖像塊的平均膚色概率和膚色區(qū)域比例這兩個(gè)特征；其中，平均膚色概率是敏感區(qū)域內(nèi)圖像塊中在膚色似然圖中各點(diǎn)像素值之和與塊總面積比值，膚色區(qū)域比例是敏感區(qū)域內(nèi)圖像塊在膚色似然圖閾值分割結(jié)果圖中膚色面積與塊總面積比值；

Avg=Σx_skinΣy_skinI(x_skin,y_skin)Σx_regionΣy_regionI(x_region,y_region)---(3)]]>

Ratio=Σx_skinΣy_skinI′(x_skin,y_skin)Σx_regionΣy_regionI′(x_region,y_region)---(4)]]>

式中I(x_skin,y_skin)為膚色似然圖中指定點(diǎn)像素值，I＇(x_skin,y_skin)為膚色似然圖閾值分割得到的圖像中指定點(diǎn)像素值，x_skin,y_skin和x_region,y_region分別為敏感區(qū)域內(nèi)圖像塊中在膚色似然圖和閾值分割結(jié)果圖中各個(gè)像素點(diǎn)的橫、縱坐標(biāo)；

1.4?聚類分析

根據(jù)圖像敏感區(qū)域內(nèi)圖像塊中提取的顏色、紋理、亮度和膚色特征，線性組合起來建立特征數(shù)據(jù)庫，然后采用k均值聚類方法進(jìn)行聚類分析，并選取每類中心作為視覺單詞，構(gòu)建視覺單詞庫，其中每類聚類中心的數(shù)據(jù)維數(shù)是280，其中紋理復(fù)雜程度1維數(shù)據(jù)，膚色區(qū)域比例1維數(shù)據(jù)，平均膚色概率1維數(shù)據(jù)，邊緣直方圖5維數(shù)據(jù)，可伸縮顏色描述子256維數(shù)據(jù)，亮度特征16維數(shù)據(jù)；

2）.?敏感圖像識(shí)別

根據(jù)視覺單詞庫對(duì)圖像進(jìn)行語義分析，得到描述敏感內(nèi)容的視覺單詞直方圖，建立分類器進(jìn)行敏感圖像的識(shí)別，具體過程：從網(wǎng)絡(luò)中隨機(jī)下載部分包含較多膚色信息的正常人物類圖像和部分敏感圖像，從這些圖像中隨機(jī)選取部分圖像作為訓(xùn)練樣本，其余的圖像作為測(cè)試樣本，建立支持向量機(jī)分類器，完成圖像的識(shí)別；整個(gè)過程主要分為兩個(gè)階段：首先是訓(xùn)練階段，針對(duì)訓(xùn)練樣本從敏感圖像特點(diǎn)出發(fā)，運(yùn)用壓縮域圖像處理技術(shù)，根據(jù)人眼視覺注意機(jī)制，建立視覺注意模型，檢測(cè)訓(xùn)練樣本的敏感區(qū)域，然后提取敏感區(qū)域內(nèi)圖像塊的顏色、紋理、亮度和膚色特征，并根據(jù)建立的視覺單詞庫，構(gòu)建視覺單詞直方圖，最后建立支持向量機(jī)分類器，以下簡稱SVM?(；然后是預(yù)測(cè)階段，即對(duì)測(cè)試樣本使用SVM分類器識(shí)別圖像類別；

在構(gòu)建視覺直方圖前，首先檢測(cè)圖像中的敏感區(qū)域，并提取敏感區(qū)域內(nèi)圖像塊的紋理、顏色、亮度和膚色特征，然后根據(jù)視覺單詞庫，采用公式(5)和(6)計(jì)算詞頻×反文檔權(quán)重系數(shù)，即TF×IDF權(quán)重系數(shù)，建立視覺單詞直方圖，其中視覺單詞直方圖的橫坐標(biāo)代表視覺單詞個(gè)數(shù)，縱坐標(biāo)代表詞頻×反文檔權(quán)重系數(shù)；

其中，TF是詞頻，表示某個(gè)視覺單詞在圖像中出現(xiàn)的次數(shù)與圖中視覺單詞總數(shù)的比值；IDF是反文檔頻率，可以由樣本庫中圖像數(shù)目除以包含該視覺單詞的圖像的數(shù)目，再將結(jié)果取對(duì)數(shù)得到；令tf_pq為視覺單詞p在圖像q中出現(xiàn)的次數(shù)，N是樣本庫中圖像的數(shù)目，M是視覺單詞數(shù)目，則p=1,…,M，q=1,…,N，df_p是包含視覺單詞p的圖像數(shù)目，若視覺單詞沒有在樣本庫圖像出現(xiàn)過，除數(shù)會(huì)為零，因此在計(jì)算idf_p時(shí)要將該數(shù)加1，則視覺單詞p在圖像q中的權(quán)重系數(shù)b_pq為：

bpq=tfpq×idfp---(5)]]>

式中

idfp=lg(Ndfp)---(6)]]>