[實用新型]一種基于動作識別及語音技術(shù)的手語和唇語互譯系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201220688601.2
• 申請日: 2012-12-13
• 公開（公告）號: CN203070756U
• 公開（公告）日: 2013-07-17
• 發(fā)明（設(shè)計）人: 陳擁權(quán);王略志;劉思楊;胡翀豪
• 申請（專利權(quán)）人: 合肥寰景信息技術(shù)有限公司
• 主分類號: G10L15/25
• 分類號: G10L15/25;G06K9/00
• 代理公司: 安徽合肥華信知識產(chǎn)權(quán)代理有限公司 34112
• 代理人: 方琦

技術(shù)領(lǐng)域

????本實用新型涉及手語和唇語互譯系統(tǒng)領(lǐng)域，具體為一種基于動作識別及語音技術(shù)的手語和唇語互譯系統(tǒng)。

背景技術(shù)

基于視頻的動作識別設(shè)備由主機、動作識別模塊等構(gòu)成，可通過動作識別設(shè)備中的攝像頭采集人體的運動圖像，并通過集成的圖像算法芯片，對運動圖像進行解析，形成人體運動的三維動態(tài)坐標，經(jīng)主機的圖像合成與仿真，最后得到相應的動作視頻，因此動作識別設(shè)備可作為手語和唇語互譯系統(tǒng)的基礎(chǔ)設(shè)備。而現(xiàn)有技術(shù)中尚沒有基于動作識別及語音技術(shù)的手語和唇語互譯系統(tǒng)。

實用新型內(nèi)容

本實用新型的目的是提供一種基于動作識別及語音技術(shù)的手語和唇語互譯系統(tǒng)，以解決現(xiàn)有技術(shù)中尚沒有基于動作識別及語音技術(shù)的實現(xiàn)手語和唇語互譯系統(tǒng)的問題。

為了達到上述目的，本實用新型所采用的技術(shù)方案為：

一種基于動作識別及語音技術(shù)的手語和唇語互譯系統(tǒng)，包括有殼體，其特征在于：所述殼體內(nèi)設(shè)置有FPGA及DSP，殼體上設(shè)置有一對用于采集聾啞人手語動作的攝像頭A和一對用于采集正常人唇語的攝像頭B以及一個用于采集正常人聲音的語音識別模塊，兩攝像頭A、兩攝像頭B、語音識別模塊分別通過信號線接入FPGA，所述FPGA與DSP雙向通信連接，所述DSP分別通過I2C/SPI總線與兩攝像頭A、兩攝像頭B、語音識別模塊連接，DSP還通過USB總線與上位機通訊連接，上位機外接有顯示器、語音播放模塊，上位機將DSP傳來的攝像頭A采集的聾啞人手語動作的圖像數(shù)據(jù)合成視頻信號，再將視頻信號轉(zhuǎn)化為語音信息通過語音播放模塊播出，上位機將DSP傳來的攝像頭B采集的正常人唇語的圖像數(shù)據(jù)和語音識別模塊采集的正常人聲音的音頻數(shù)據(jù)合成視頻信號，再將視頻信號轉(zhuǎn)化為手語動作并在顯示器上顯示。

所述的一種基于動作識別及語音技術(shù)的手語和唇語互譯系統(tǒng)，其特征在于：所述FPGA上接入有兩個SRAM，所述DSP上接入有一個SDRAM和一個Nand/Nor?FLASH。

本實用新型依據(jù)Bumblebee雙目測量原理，應用FPGA驅(qū)動兩個攝像頭A，并通過DSP的I2C/SPI總線使兩個攝像頭A同步采集運動圖像，圖像數(shù)據(jù)在DSP進行預處理后傳送至上位機。本實用新型依據(jù)Bumblebee雙目測量原理，應用FPGA驅(qū)動兩個攝像頭B和語音識別模塊，并通過DSP的I2C/SPI總線使兩個攝像頭B和語音識別模塊同步采集運動圖像和語音信號，圖像數(shù)據(jù)和語音信號在DSP進行預處理后傳送至上位機。上位機將DSP傳來的攝像頭A采集的聾啞人手語動作的圖像數(shù)據(jù)合成視頻信號，再將視頻信號轉(zhuǎn)化為語音信息通過語音播放模塊播出，上位機將DSP傳來的攝像頭B采集的正常人唇語的圖像數(shù)據(jù)和語音識別模塊采集的正常人聲音的音頻數(shù)據(jù)合成視頻信號，再將視頻信號轉(zhuǎn)化為手語動作并在顯示器上顯示。本實用新型可實現(xiàn)手語和唇語互譯，具有很好的應用前景。

附圖說明

圖1為本實用新型結(jié)構(gòu)框圖。

具體實施方式

如圖1所示。一種基于動作識別及語音技術(shù)的手語和唇語互譯系統(tǒng)，包括有殼體，殼體內(nèi)設(shè)置有FPGA及DSP，殼體上設(shè)置有一對用于采集聾啞人手語動作的攝像頭1和一對用于采集正常人唇語的攝像頭2以及一個用于采集正常人聲音的語音識別模塊3，兩攝像頭1、兩攝像頭2、語音識別模塊3分別通過信號線接入FPGA，F(xiàn)PGA與DSP雙向通信連接，DSP分別通過I2C/SPI總線與兩攝像頭1、兩攝像頭2、語音識別模塊3連接，DSP還通過USB總線與上位機4通訊連接，上位機4外接有顯示器5、語音播放模塊6，上位機4將DSP傳來的攝像頭1采集的聾啞人手語動作的圖像數(shù)據(jù)合成視頻信號，再將視頻信號轉(zhuǎn)化為語音信息通過語音播放模塊6播出，上位機4將DSP傳來的攝像頭2采集的正常人唇語的圖像數(shù)據(jù)和語音識別模塊6采集的正常人聲音的音頻數(shù)據(jù)合成視頻信號，再將視頻信號轉(zhuǎn)化為手語動作并在顯示器5上顯示。FPGA上接入有兩個SRAM，所述DSP上接入有一個SDRAM和一個Nand/Nor?FLASH。