[發(fā)明專利]一種便攜式唇語(yǔ)識(shí)別系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110294624.9
• 申請(qǐng)日: 2021-03-19
• 公開（公告）號(hào): CN113283284A
• 公開（公告）日: 2021-08-20
• 發(fā)明（設(shè)計(jì)）人: 于真;王楠;沈希臻
• 申請(qǐng)（專利權(quán)）人: 成都理工大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/04;G06N3/08
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種便攜式唇語(yǔ)識(shí)別系統(tǒng)，其特征在于，包括：MCU、電源模塊、采集模塊、顯示屏、外圍模塊；

所述的MCU選的是樹莓派，并在樹莓派中選定了4B型號(hào)，其使用的內(nèi)核是Cortex-A72。所述的電源模塊選用官方專為4B型號(hào)提供的USB-C電源，這個(gè)電源設(shè)計(jì)擁有過流、過溫和輸出短路保護(hù)，其輸出功率也較高，滿足要求。

所述的視頻采集設(shè)備采用的是CSI這款CMOS攝像頭，該攝像頭體積小，工作電壓低，而且免驅(qū)動(dòng)，滿足設(shè)計(jì)要求。

所述的顯示屏采用7寸HDMI顯示屏，分辨率為1024*600。其采用高清晰度多媒體接口傳輸音頻和影像信號(hào)。

所述的外圍模塊主要包括鼠標(biāo)模塊和存儲(chǔ)模塊。鼠標(biāo)模塊主要用來控制主機(jī)的設(shè)置，更方便的在顯示器顯示結(jié)果，存儲(chǔ)模塊用來存儲(chǔ)視頻采集模塊傳來的視頻信息。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，對(duì)采集到的唇讀視頻進(jìn)行識(shí)別，為此需要對(duì)視頻進(jìn)行視頻幀的抽取，通過STCNN網(wǎng)絡(luò)提取到視頻幀的唇部圖像，再通過AConvLSTM網(wǎng)絡(luò)對(duì)唇部圖像進(jìn)行時(shí)序編碼，得到時(shí)序特征序列，最后通過softmanx分類器和CTC函數(shù)進(jìn)行預(yù)測(cè)和優(yōu)化，顯示出預(yù)測(cè)結(jié)果。對(duì)于視頻幀進(jìn)行唇部圖像的提取，需要STCNN網(wǎng)絡(luò)計(jì)算，如公式1為STCNN計(jì)算公式：

如公式2-5和公式6為時(shí)序編碼和分類的計(jì)算方法：

h_t＝o_t⊙tanh(C_t) 公式2

y＝softmax(w_iC_i+b) 公式6