[發(fā)明專利]一種圖文音頻自動(dòng)翻譯方法及其系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010587361.6
• 申請(qǐng)日: 2020-06-24
• 公開（公告）號(hào): CN111738023A
• 公開（公告）日: 2020-10-02
• 發(fā)明（設(shè)計(jì)）人: 宋萬(wàn)利
• 申請(qǐng)（專利權(quán)）人: 宋萬(wàn)利
• 主分類號(hào): G06F40/58
• 分類號(hào): G06F40/58;G06N3/04;G06N3/08;G10L15/00;G10L15/06;G10L15/16
• 代理公司: 北京酷愛智慧知識(shí)產(chǎn)權(quán)代理有限公司 11514
• 代理人: 鄒成嬌

本發(fā)明公開了一種圖文音頻自動(dòng)翻譯方法，包括獲取語(yǔ)音數(shù)據(jù)、圖像數(shù)據(jù)以及動(dòng)作數(shù)據(jù)中一種或多種；對(duì)獲取的語(yǔ)音數(shù)據(jù)進(jìn)行初步處理，將初步處理結(jié)果輸入到預(yù)先訓(xùn)練的翻譯模型中，得到相應(yīng)的目標(biāo)語(yǔ)言數(shù)據(jù)；對(duì)獲取的圖像數(shù)據(jù)進(jìn)行特征信息識(shí)別，將識(shí)別的特征信息結(jié)果進(jìn)行翻譯，得到相應(yīng)的目標(biāo)語(yǔ)言數(shù)據(jù)；對(duì)獲取的動(dòng)作數(shù)據(jù)進(jìn)行格式化處理，輸入到預(yù)先構(gòu)建的LSTM神經(jīng)網(wǎng)絡(luò)模型，得到動(dòng)作表達(dá)數(shù)據(jù)；直接輸出得到的目標(biāo)語(yǔ)言數(shù)據(jù)或動(dòng)作表達(dá)數(shù)據(jù)或?qū)⒌玫降哪繕?biāo)語(yǔ)言數(shù)據(jù)和/或動(dòng)作表達(dá)數(shù)據(jù)進(jìn)行相似度匹配，得到融合語(yǔ)言數(shù)據(jù)；本發(fā)明能夠基于獲取的語(yǔ)音數(shù)據(jù)、圖像數(shù)據(jù)及動(dòng)作數(shù)據(jù)分別進(jìn)行識(shí)別和翻譯，提高翻譯精度；能夠?qū)?yīng)表達(dá)隨意的翻譯場(chǎng)景，具有更好的適應(yīng)性。

技術(shù)領(lǐng)域

本發(fā)明涉及翻譯技術(shù)領(lǐng)域，具體而言，為一種圖文音頻自動(dòng)翻譯方法及其系統(tǒng)。

背景技術(shù)

基于目前各異語(yǔ)言語(yǔ)音文字所屬人類之間，互相語(yǔ)言語(yǔ)音文字交流現(xiàn)狀，仍需由知懂學(xué)異語(yǔ)言語(yǔ)音文字的外語(yǔ)人員現(xiàn)場(chǎng)幕后查找翻譯，書報(bào)刊物等仍需由諸種類等繁瑣翻譯。且目前互聯(lián)網(wǎng)各網(wǎng)站平臺(tái)上之翻譯軟件、語(yǔ)言語(yǔ)音文字諸互譯軟件、及各APP翻譯平臺(tái)等，一方面即時(shí)性隨時(shí)隨地隨處性實(shí)時(shí)性等滯后等，且其幕后工作人員場(chǎng)力人力物力繁瑣龐大，現(xiàn)在同聲傳譯翻譯方面，人員設(shè)施設(shè)備幕后布置等繁瑣投入巨大等。

近幾年中，得益于神經(jīng)機(jī)器翻譯(NMT)技術(shù)的流行，機(jī)器翻譯的質(zhì)量越來越高，但語(yǔ)言的表達(dá)受到小語(yǔ)種或地方口音和表達(dá)習(xí)慣(如肢體表達(dá))的局限，造成翻譯結(jié)果不夠理想；例如英語(yǔ)這種大語(yǔ)種對(duì)小語(yǔ)種或者少數(shù)民族語(yǔ)言或方言等這些語(yǔ)言之間的平行語(yǔ)料十分缺乏，導(dǎo)致部分語(yǔ)言發(fā)音找不到對(duì)應(yīng)的詞匯輸出，或者表達(dá)者在表述過程中由肢體表達(dá)，是的語(yǔ)音采集不到無法識(shí)別翻譯。

有鑒于此，特提出本發(fā)明。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明提供一種圖文音頻自動(dòng)翻譯方法及其系統(tǒng)，基于圖文音頻信息，獲得翻譯結(jié)果，提高翻譯精確度。

為實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案包括：

一方面，本發(fā)明提供了一種圖文音頻自動(dòng)翻譯方法，包括如下步驟：

獲取語(yǔ)音數(shù)據(jù)、圖像數(shù)據(jù)以及動(dòng)作數(shù)據(jù)中一種或多種作為源數(shù)據(jù)；

對(duì)獲取的語(yǔ)音數(shù)據(jù)進(jìn)行初步處理，將初步處理結(jié)果輸入到預(yù)先訓(xùn)練的翻譯模型中，以得到相應(yīng)的目標(biāo)語(yǔ)言數(shù)據(jù)；

對(duì)獲取的圖像數(shù)據(jù)進(jìn)行特征信息識(shí)別，將識(shí)別的特征信息結(jié)果進(jìn)行翻譯，以得到相應(yīng)的目標(biāo)語(yǔ)言數(shù)據(jù)；

對(duì)獲取的動(dòng)作數(shù)據(jù)進(jìn)行格式化處理，將格式化處理結(jié)果輸入到預(yù)先構(gòu)建的LSTM神經(jīng)網(wǎng)絡(luò)模型，以得到動(dòng)作表達(dá)數(shù)據(jù)；

當(dāng)源數(shù)據(jù)為一種時(shí)，直接輸出得到的目標(biāo)語(yǔ)言數(shù)據(jù)或動(dòng)作表達(dá)數(shù)據(jù)；當(dāng)源數(shù)據(jù)為多種時(shí)，將得到的目標(biāo)語(yǔ)言數(shù)據(jù)和/或動(dòng)作表達(dá)數(shù)據(jù)進(jìn)行相似度匹配，得到融合語(yǔ)言數(shù)據(jù)。

進(jìn)一步的，上述的圖文音頻自動(dòng)翻譯方法中，所述對(duì)獲取的語(yǔ)音數(shù)據(jù)進(jìn)行初步處理，將初步處理結(jié)果輸入到預(yù)先訓(xùn)練的翻譯模型中，以得到相應(yīng)的目標(biāo)語(yǔ)言數(shù)據(jù)，包括：

將獲取的語(yǔ)音數(shù)據(jù)進(jìn)行速率變換，得到標(biāo)準(zhǔn)采樣速率語(yǔ)音數(shù)據(jù)；

將標(biāo)準(zhǔn)采樣速率數(shù)據(jù)輸入到語(yǔ)種識(shí)別模型中，得到語(yǔ)種判斷結(jié)果；

根據(jù)語(yǔ)種判斷結(jié)果將獲取的語(yǔ)音數(shù)據(jù)輸入到預(yù)先訓(xùn)練的翻譯模型中，在翻譯模型中進(jìn)行：

將所述語(yǔ)音數(shù)據(jù)通過預(yù)先訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)輸出源語(yǔ)言的語(yǔ)言識(shí)別信息，

將源語(yǔ)言的語(yǔ)言識(shí)別信息經(jīng)過跨語(yǔ)言標(biāo)注模型轉(zhuǎn)換，輸出目標(biāo)語(yǔ)言數(shù)據(jù)。

進(jìn)一步的，上述的圖文音頻自動(dòng)翻譯方法中，所述跨語(yǔ)言標(biāo)注模型通過預(yù)先構(gòu)建訓(xùn)練得到：

將語(yǔ)言按照語(yǔ)種分類，并在語(yǔ)種下按照標(biāo)準(zhǔn)發(fā)音和口音劃分子類；