[發(fā)明專利]一種基于單目攝像頭的帶噪音語音識別系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 201611024686.3
• 申請日: 2016-11-14
• 公開（公告）號: CN108073875A
• 公開（公告）日: 2018-05-25
• 發(fā)明（設(shè)計(jì)）人: 梁鵬;郝剛;吳玉婷
• 申請（專利權(quán)）人: 廣東技術(shù)師范學(xué)院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G10L15/22
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開一種基于單目攝像頭的帶噪音語音識別系統(tǒng)及方法，所述系統(tǒng)包括圖像采集模塊、視覺處理模塊、音頻采集模塊、音頻處理模塊、語音識別模塊；所述圖像采集模塊使用單目攝像頭采集嘴唇形狀并輸出至視覺處理模塊；所述視覺處理模塊對嘴唇圖像進(jìn)行處理并將結(jié)果輸出至語音識別模塊；音頻采集模塊使用麥克風(fēng)采集用戶音頻并輸出至音頻處理模塊；所述音頻處理模塊對用戶音頻進(jìn)行處理并輸出至語音識別模塊；所述語音模塊使用數(shù)據(jù)融合策略對視頻數(shù)據(jù)和音頻數(shù)據(jù)進(jìn)行融合，實(shí)現(xiàn)語音識別。本發(fā)明通過使用視頻信息與音頻信息兩種特征，使用特征融合策略，有效避免如機(jī)器人馬達(dá)，零件摩擦等造成的噪音干擾，提高了語音識別系統(tǒng)的準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及語音識別技術(shù)，具體設(shè)計(jì)一種基于單目攝像頭的帶噪音語音識別系統(tǒng)及方法。

背景技術(shù)

隨著人機(jī)交互技術(shù)發(fā)展，機(jī)器人被期望能擁有像人類一樣的感知能力并能與人類合作共事。為實(shí)現(xiàn)這一目標(biāo)，一些研究者使用語音技術(shù)來讓機(jī)器人理解人類的語言。

但是，運(yùn)動狀態(tài)中的機(jī)器人不可避免的會產(chǎn)生噪音，比如電動風(fēng)扇和馬達(dá)產(chǎn)生的噪音，因麥克風(fēng)更靠近機(jī)器人，因此這些噪音相比用戶的語言信息更易獲取，造成了機(jī)器人語音識別效果不佳。

申請公布號為CN201610615354.6的發(fā)明專利公開了基于自然語言的機(jī)器人控制系統(tǒng)及控制方法，方法包括接收用戶輸入的自然語言聲波信號；將自然語言聲波信號轉(zhuǎn)換為語言文字信息；對語言文字信息進(jìn)行分析分解，信息分解結(jié)果為根據(jù)不同詞性將所述語言文字信息分類而組合成的詞語集合；根據(jù)預(yù)置的詞匯庫對所述詞語集合進(jìn)行語義匹配，獲取所述詞語集合的行為匹配結(jié)果；將行為匹配結(jié)果轉(zhuǎn)換成語音輸出；通過人機(jī)對話模式對行為匹配結(jié)果進(jìn)行確認(rèn)；對確認(rèn)的行為匹配結(jié)果進(jìn)行行為分解，并依照行為分解結(jié)果控制機(jī)器人的執(zhí)行。

申請公布號為CN201410771233.1的發(fā)明專利公開了一種機(jī)器人語音識別方法，包含步驟1：打開音頻傳感器，采集音頻信號；步驟2：對采集到的音頻信號，進(jìn)行模數(shù)轉(zhuǎn)換；步驟3：將轉(zhuǎn)換后代數(shù)字信號送人模式識別緩沖區(qū)；步驟4：對模式識別緩沖區(qū)中的信號按照振幅做離散化處理；步驟5：將按照振幅做離散化處理的數(shù)據(jù)，在模式識別數(shù)據(jù)庫中進(jìn)行匹配算法；步驟6：對所有命令依據(jù)匹配算法的結(jié)果進(jìn)行概率運(yùn)算；步驟7：按照概率從大到小的方式排序；步驟8：將概率最大的命令作為結(jié)果輸出。

上述發(fā)明專利中，都是通過對音頻信息進(jìn)行加工處理，來提高語音識別效果，但噪音仍參與上述的加工處理過程，因此造成語音識別的效果仍然有較大誤差。

發(fā)明內(nèi)容

本發(fā)明目的在于克服傳統(tǒng)方法中的不足，提供一種基于單目攝像頭的帶噪音語音識別系統(tǒng)及方法。

本發(fā)明解決上述技術(shù)問題的技術(shù)方案為：

本發(fā)明的目的在于提高一種基于單目攝像頭的帶噪音語音識別系統(tǒng)，其中，所述系統(tǒng)包括圖像采集模塊、視覺處理模塊、音頻采集模塊、音頻處理模塊、語音識別模塊；所述圖像采集模塊使用單目攝像頭采集嘴唇形狀并輸出至視覺處理模塊；所述視覺處理模塊對嘴唇圖像進(jìn)行處理并將結(jié)果輸出至語音識別模塊；音頻采集模塊使用麥克風(fēng)采集用戶音頻并輸出至音頻處理模塊；所述音頻處理模塊對用戶音頻進(jìn)行處理并輸出至語音識別模塊；所述語音模塊使用數(shù)據(jù)融合策略對視頻數(shù)據(jù)和音頻數(shù)據(jù)進(jìn)行融合，實(shí)現(xiàn)語音識別。

本發(fā)明的另一個(gè)目的還在于提供一種基于單目攝像頭的帶噪音語音識別方法，其中，所述基于單目攝像頭的帶噪音語音識別方法包括以下步驟：S1，獲取視頻源；S2，使用圖像處理采集唇區(qū)，及獲取嘴唇變化特征；S3，獲取音頻信息，及提取音頻特征；S4，進(jìn)行多流特征融合；S5，使用HMM模型建模并得出結(jié)果。

進(jìn)一步地，本發(fā)明步驟S2中，具體包括以下步驟：S21對圖像進(jìn)行色彩空間轉(zhuǎn)換，S22膚色閾值處理，S23圖像去噪處理，S24圖像二值處理，S25開運(yùn)算處理，S26嘴唇區(qū)域定位并計(jì)算特征。