[發(fā)明專利]嘴唇輪廓的定位方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201610049810.5
• 申請(qǐng)日: 2016-01-26
• 公開（公告）號(hào): CN106997451A
• 公開（公告）日: 2017-08-01
• 發(fā)明（設(shè)計(jì)）人: 魯遠(yuǎn)耀;盧開宏;周騰鶴;王景中;肖珂
• 申請(qǐng)（專利權(quán)）人: 北方工業(yè)大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00
• 代理公司: 北京安博達(dá)知識(shí)產(chǎn)權(quán)代理有限公司11271
• 代理人: 徐國(guó)文

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理與模式識(shí)別領(lǐng)域，尤其涉及一種嘴唇輪廓的定位方法。

背景技術(shù)

當(dāng)今社會(huì)，隨著計(jì)算機(jī)的出現(xiàn)和逐步的普及，人們對(duì)信息的需求量呈現(xiàn)出幾何級(jí)數(shù)的增長(zhǎng)，其中信息互換的主要方式之一就是通過語音的交流。在噪聲環(huán)境下，人們對(duì)語音信息的感知程度受到干擾而大幅下降，語音交流方式此時(shí)便顯得有些捉襟見肘。近些年來，圖像處理和模式識(shí)別技術(shù)的興起，使得計(jì)算機(jī)視覺技術(shù)受到研究人員的普遍關(guān)注，經(jīng)過大量探索和分析發(fā)現(xiàn)，唇形及其動(dòng)態(tài)特征在人類感知語言的過程中起著重要作用，分析講話者的唇形特征是可以理解或者部分理解其講話內(nèi)容的，利用人說話時(shí)嘴唇的動(dòng)態(tài)視覺信息來進(jìn)行語言識(shí)別在現(xiàn)階段以及今后一段時(shí)間的研究當(dāng)中具有非常重要的理論意義和廣泛的應(yīng)用前景。

與基于音頻信息的語音識(shí)別不同，基于唇動(dòng)視覺特征的語言識(shí)別是一個(gè)非常前沿的研究方向，是一種全新的研究觀點(diǎn)和探索方法，具有很強(qiáng)的新穎性和前瞻性。讓機(jī)器聽懂人說的話，即基于音頻進(jìn)行語音識(shí)別的領(lǐng)域已經(jīng)有很多研究者進(jìn)行過探索，并且取得了非常好的成果，在相對(duì)比較理想的條件下，識(shí)別率非常高，基本已經(jīng)達(dá)到實(shí)用程度。然而，在很多實(shí)際生活中的應(yīng)用場(chǎng)合，比如地鐵站、機(jī)場(chǎng)、工作車間、辦公室、車站、以及公共汽車上等場(chǎng)合，總會(huì)存在不同程度的干擾噪聲，這些噪聲的來源隨機(jī)廣泛，形式也多種多樣。由于基于音頻的語言識(shí)別系統(tǒng)采用的方法主要是基于統(tǒng)計(jì)的方法，其模型在訓(xùn)練的時(shí)候很難把所有干擾噪聲的特性和類型都不考慮進(jìn)來，因此在識(shí)別這些疊加有噪聲污染的語音信號(hào)時(shí)，系統(tǒng)性能會(huì)急劇下降，所得到的識(shí)別結(jié)果也可能不盡如人意。為了使語言識(shí)別技術(shù)能夠更加廣泛地應(yīng)用于各種實(shí)際的場(chǎng)合，就必須提高識(shí)別系統(tǒng)對(duì)信息采集時(shí)環(huán)境中噪聲的魯棒性。這些方面的研究在理論研究和實(shí)際應(yīng)用方面都有著很多難度很大，甚至是難以克服的瓶頸問題。

為了克服單純依靠聲音信息進(jìn)行語音識(shí)別時(shí)可能存在的缺陷和不足，一些研究者們提出了一些可能提高語言識(shí)別性能的解決方案。從日常生活人和人之間的談話中，聽話者對(duì)說話者語言信息的獲取過程和獲取方式受到啟發(fā)，與話語的聲音信息相對(duì)應(yīng)的嘴唇 的視覺信息同樣能夠?qū)θ藗兏玫乩斫庹f話人的語言中所包含的信息有所幫助，尤其是對(duì)于聽力功能有一定障礙的聽話者來說，應(yīng)用說話者表情和嘴唇所提供的語言視覺信息作為話語的補(bǔ)充，甚至是完全依靠(對(duì)于完全耳聾的人)說話者的表情和嘴唇的視覺信息，來理解說話者話語中所表達(dá)的信息顯得尤為重要。基于這一系列事實(shí)，研究者們通過在依靠音頻的語音識(shí)別系統(tǒng)中加入了說話者的表情和嘴唇動(dòng)作等一些視覺方面的信息，把它作為聲音信息的補(bǔ)償，也就是基于音視頻的雙模態(tài)語音識(shí)別，這些方案在提高語音識(shí)別的準(zhǔn)確率上起到了一定的效果。

然而當(dāng)前一些研究在嘴唇分割方面缺乏高效和準(zhǔn)確性，使得對(duì)嘴唇信息的特征提取效能大打折扣，導(dǎo)致最終的識(shí)別結(jié)果始終不盡如人意，識(shí)別率無法得到保障。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提供一種能夠提高定位準(zhǔn)確度的嘴唇輪廓定位方法。為了對(duì)披露的實(shí)施例的一些方面有一個(gè)基本的理解，下面給出了簡(jiǎn)單的概括。該概括部分不是泛泛評(píng)述，也不是要確定關(guān)鍵/重要組成元素或描繪這些實(shí)施例的保護(hù)范圍。其唯一目的是用簡(jiǎn)單的形式呈現(xiàn)一些概念，以此作為后面的詳細(xì)說明的序言。

一種嘴唇輪廓的定位方法，包括如下步驟：

對(duì)嘴唇區(qū)域進(jìn)行粗分割，以得到嘴唇區(qū)域二值化圖像；

將嘴唇區(qū)域二值化圖像轉(zhuǎn)換為灰度圖像，在嘴唇區(qū)域灰度圖像中查找嘴角關(guān)鍵點(diǎn)，所述嘴角關(guān)鍵點(diǎn)包括左、右嘴角關(guān)鍵點(diǎn)；

以嘴角關(guān)鍵點(diǎn)為基準(zhǔn)，查找嘴唇內(nèi)、外輪廓關(guān)鍵點(diǎn)，從而完成嘴唇輪廓的定位；所述嘴唇內(nèi)輪廓關(guān)鍵點(diǎn)包括上、下嘴唇內(nèi)輪廓關(guān)鍵點(diǎn)，所述外輪廓關(guān)鍵點(diǎn)包括上、下嘴唇外輪廓關(guān)鍵點(diǎn)。

在一些可選的實(shí)施例中，對(duì)嘴唇區(qū)域進(jìn)行粗分割，通過下述方式實(shí)現(xiàn)：

將嘴唇區(qū)域圖像從當(dāng)前顏色空間轉(zhuǎn)換為另兩種顏色空間；

利用轉(zhuǎn)換后兩種顏色空間的分量獲取相應(yīng)直方圖，對(duì)兩幅直方圖均衡化后再進(jìn)行二值化，將二值化的兩幅圖像進(jìn)行邏輯與運(yùn)算得到嘴唇區(qū)域二值化圖像；

提取嘴唇區(qū)域二值化圖像的最大連通域并進(jìn)行閉運(yùn)算處理，從而實(shí)現(xiàn)嘴唇區(qū)域的粗分割。

在一些可選的實(shí)施例中，查找嘴角關(guān)鍵點(diǎn)，通過下述方式實(shí)現(xiàn)：

對(duì)嘴唇區(qū)域灰度圖像進(jìn)行行掃描，找出像素點(diǎn)灰度值之和最小的一行作為搜索嘴角的參考行；

以參考行為基礎(chǔ)，上下各擴(kuò)展N行所形成的帶狀區(qū)域即為嘴角搜索域，所述N為不小于5的整數(shù)；