日韩在线一区二区三区,日本午夜一区二区三区,国产伦精品一区二区三区四区视频,欧美日韩在线观看视频一区二区三区 ,一区二区视频在线,国产精品18久久久久久首页狼,日本天堂在线观看视频,综合av一区

[發(fā)明專利]基于自注意力機制的多領(lǐng)域神經(jīng)機器翻譯方法有效

專利信息
申請?zhí)枺?/td> 201910344013.3 申請日: 2019-04-22
公開(公告)號: CN110059323B 公開(公告)日: 2023-07-11
發(fā)明(設(shè)計)人: 熊德意;張詩奇 申請(專利權(quán))人: 蘇州大學(xué)
主分類號: G06F40/58 分類號: G06F40/58;G06F40/47;G06N3/045;G06N3/0455;G06N3/0895
代理公司: 蘇州市中南偉業(yè)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32257 代理人: 楊慧林
地址: 215000 江蘇*** 國省代碼: 江蘇;32
權(quán)利要求書: 查看更多 說明書: 查看更多
摘要:
搜索關(guān)鍵詞: 基于 注意力 機制 領(lǐng)域 神經(jīng) 機器翻譯 方法
【說明書】:

本發(fā)明公開了一種基于自注意力機制的多領(lǐng)域神經(jīng)機器翻譯方法?;谧宰⒁饬C制的多領(lǐng)域神經(jīng)機器翻譯方法,包括:對Transformer進(jìn)行了兩項重要的改變;第一個變化是基于領(lǐng)域感知的自注意力機制,其中領(lǐng)域表示被添加到原始的自注意力機制的鍵和值向量中;注意力機制的權(quán)重是查詢和領(lǐng)域感知的鍵的相關(guān)程度。第二個變化是添加一個領(lǐng)域表示學(xué)習(xí)模塊來學(xué)習(xí)領(lǐng)域向量。本發(fā)明的有益效果:本專利在目前代表最先進(jìn)水平的神經(jīng)網(wǎng)絡(luò)架構(gòu)Transformer上提出領(lǐng)域感知的NMT模型架構(gòu)。為多領(lǐng)域翻譯提出了一種基于領(lǐng)域感知的自注意力機制。據(jù)所知,這是在基于自注意力機制的多領(lǐng)域NMT上的首次嘗試。同時,實驗和分析也驗證了的模型能夠顯著提升各領(lǐng)域的翻譯效果并且可以學(xué)習(xí)到訓(xùn)練數(shù)據(jù)的領(lǐng)域信息。

技術(shù)領(lǐng)域

本發(fā)明涉及神經(jīng)機器翻譯領(lǐng)域,具體涉及一種基于自注意力機制的多領(lǐng)域神經(jīng)機器翻譯方法。

背景技術(shù)

隨著計算機計算能力的提高以及大數(shù)據(jù)的應(yīng)用,深度學(xué)習(xí)取得進(jìn)一步的應(yīng)用?;谏疃葘W(xué)習(xí)的神經(jīng)機器翻譯(Neural?Machine?Translation)越來越受到人們的關(guān)注。在NMT領(lǐng)域中,目前代表最先進(jìn)水平的神經(jīng)網(wǎng)絡(luò)架構(gòu)Transformer是一個完全基于注意力機制(attention-based)的編碼器-解碼器(encoder-decoder)模型。其主要思想是將待翻譯的語句(在下文中統(tǒng)稱為‘源語句’)經(jīng)過編碼器(encoder)編碼成為一個向量表示,然后利用解碼器(decoder)對源語句的向量表示進(jìn)行解碼,翻譯成為其對應(yīng)的譯文(在下文中統(tǒng)稱為‘目標(biāo)語句’)。

從人工和自動評測指標(biāo)來看,神經(jīng)機器翻譯在翻譯質(zhì)量上已經(jīng)取得了顯著進(jìn)步,尤其是在新聞領(lǐng)域。這種成功得益于先進(jìn)的神經(jīng)架構(gòu)和大規(guī)??傻玫降念I(lǐng)域內(nèi)訓(xùn)練數(shù)據(jù)。然而,神經(jīng)機器翻譯在領(lǐng)域適應(yīng)方面仍然面臨著挑戰(zhàn)。

將機器翻譯(MT)更普遍地應(yīng)用到工業(yè)翻譯中面臨著兩個相互關(guān)聯(lián)的問題。一方面,MT技術(shù)應(yīng)該能夠保證高水平的靈活性,能夠在廣泛的使用場景(語言組合,流派,領(lǐng)域)中提供高質(zhì)量的輸出。另一方面,實現(xiàn)這一目標(biāo)所需的基礎(chǔ)設(shè)施應(yīng)具有足夠的可擴展性,以便以合理的成本實現(xiàn)MT的工業(yè)部署。

第一個問題是MT領(lǐng)域適應(yīng)中眾所周知的問題:翻譯性能受到訓(xùn)練和測試數(shù)據(jù)之間匹配性的限制。本專利討論的場景的輸入數(shù)據(jù)來自各種不同的領(lǐng)域,在通用平行語料庫上訓(xùn)練的模型受到數(shù)據(jù)多樣性的影響。實際上,當(dāng)訓(xùn)練實例的距離增加時,處理來自不同領(lǐng)域的句子變得越來越困難。翻譯系統(tǒng)處理的領(lǐng)域越多,翻譯質(zhì)量下降的機率就越高。為了解決這個問題,MT系統(tǒng)應(yīng)該足夠靈活,以適應(yīng)不同數(shù)據(jù)之間的各種語言差異(例如詞匯,結(jié)構(gòu))。

第二個問題更切合實際:在模型缺乏靈活性的情況下,多領(lǐng)域的翻譯場景需要多個特定領(lǐng)域的系統(tǒng)架構(gòu),每次涉及一個新的領(lǐng)域時,必須使用特定領(lǐng)域的數(shù)據(jù)再訓(xùn)練一個專用模型,缺乏架構(gòu)的可擴展性和造成較高的維護(hù)成本。

傳統(tǒng)的多領(lǐng)域翻譯方法是1)首先訓(xùn)練通用模型,然后在特定領(lǐng)域上微調(diào)以最大化其在特定領(lǐng)域上的性能。Luong和Manning在論文Effective?Approaches?to?Attention-based?Neural?Machine?Translation中提出微調(diào)的方法,在已經(jīng)訓(xùn)練好的領(lǐng)域外翻譯系統(tǒng)上用領(lǐng)域內(nèi)的語料繼續(xù)訓(xùn)練。

2)對不同的領(lǐng)域訓(xùn)練多個模型進(jìn)行模型融合。Sajjad等人在論文Neural?machinetranslation?training?in?a?multi-domain?scenario中探索了模型疊加和多領(lǐng)域的多模型融合方法。

傳統(tǒng)技術(shù)存在以下技術(shù)問題:

下載完整專利技術(shù)內(nèi)容需要扣除積分,VIP會員可以免費下載。

該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于蘇州大學(xué),未經(jīng)蘇州大學(xué)許可,擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請聯(lián)系【客服

本文鏈接:http://www.szxzyx.cn/pat/books/201910344013.3/2.html,轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。

×

專利文獻(xiàn)下載

說明:

1、專利原文基于中國國家知識產(chǎn)權(quán)局專利說明書;

2、支持發(fā)明專利 、實用新型專利、外觀設(shè)計專利(升級中);

3、專利數(shù)據(jù)每周兩次同步更新,支持Adobe PDF格式;

4、內(nèi)容包括專利技術(shù)的結(jié)構(gòu)示意圖、流程工藝圖技術(shù)構(gòu)造圖;

5、已全新升級為極速版,下載速度顯著提升!歡迎使用!

請您登陸后,進(jìn)行下載,點擊【登陸】 【注冊】

關(guān)于我們 尋求報道 投稿須知 廣告合作 版權(quán)聲明 網(wǎng)站地圖 友情鏈接 企業(yè)標(biāo)識 聯(lián)系我們

鉆瓜專利網(wǎng)在線咨詢

周一至周五 9:00-18:00

咨詢在線客服咨詢在線客服
tel code back_top
主站蜘蛛池模板: 色婷婷久久一区二区三区麻豆| 国产欧美精品一区二区三区小说 | 国产黄色网址大全| 国产足控福利视频一区| 亚洲福利视频一区二区| 狠狠色综合欧美激情| 午夜看片网站| 日韩一区二区精品| 国产精品一区二区毛茸茸| 国产一区二区高潮| 亚洲欧美日韩视频一区| 精品久久久久久亚洲综合网| 99精品国产一区二区三区麻豆| 欧美色综合天天久久| 日韩夜精品精品免费观看| 国产精品一品二区三区四区五区| 肥大bbwbbwbbw高潮| 欧美极品少妇videossex| 欧美日韩综合一区| 亚洲欧美日韩综合在线| 精品少妇一区二区三区| 国产精品色在线网站| 久精品国产| 国产乱子一区二区| 日本一区二区在线观看视频| 国产精品久久久久久久久久嫩草| 国产精品欧美日韩在线| 午夜色影院| 亚洲欧美日韩综合在线| 93久久精品日日躁夜夜躁欧美| 国产一级片网站| 精品一区二区三区自拍图片区| 国产欧美一区二区三区精品观看| 国产又黄又硬又湿又黄| 亚洲国产一区二| 欧美日韩一级二级三级| 欧美一区二区三区艳史| 国产乱xxxxx国语对白| 亚洲欧美一区二区三区1000| 91丝袜国产在线播放| 国产精品精品视频一区二区三区 | 国产精品久久久麻豆| 日本午夜无人区毛片私人影院| 国产91清纯白嫩初高中在线观看| 亚洲乱强伦| 国产精品中文字幕一区| 色婷婷综合久久久久中文| 午夜在线看片| 香蕉免费一区二区三区在线观看| 中文字幕a一二三在线| 福利电影一区二区三区| 国产1区2| 激情久久久久久| 黄色91在线观看| 欧美视频1区| 国产一区二区电影在线观看| 国产精品美女www爽爽爽视频| 一区二区三区毛片| 亚洲国产精品一区在线观看| 挺进警察美妇后菊| 日韩欧美多p乱免费视频| 粉嫩久久久久久久极品| 久久99精| 久久精品视频偷拍| 日韩av中文字幕第一页| 国产淫片免费看| 欧美高清性xxxx| 电影91久久久| 精品国产一区二区三区免费| 97视频一区| 久久99精品国产一区二区三区| 欧美在线一区二区视频| 蜜臀久久99精品久久一区二区| 久久综合伊人77777麻豆最新章节| 丰满少妇高潮惨叫久久久一| 国产视频精品一区二区三区| 91精品国产91久久久| 欧美一区二区三区不卡视频| 国产剧情在线观看一区二区| 性old老妇做受| 欧美一区二区三区三州| 鲁丝一区二区三区免费观看| 国产亚洲久久| 久久久精品欧美一区二区| 91精品久久久久久久久久| 亚洲国产偷| 欧美日韩国产精品一区二区| 国产一区二区视频在线| 一区二区不卡在线| 国产一级片子| 日本午夜无人区毛片私人影院| 午夜av免费看| 日日夜夜精品免费看 | 99久久夜色精品国产网站| 四虎国产永久在线精品| 91麻豆精品国产91久久久无限制版| 国产精品1区二区| 国产精品v一区二区三区| 97视频久久久| 国产精品国产三级国产aⅴ下载| 大伊人av| 国产欧美久久一区二区三区| 国产精品一区二区日韩新区 | 亚洲国产精品97久久无色| 亚洲va久久久噜噜噜久久0| 午夜黄色大片| 亚洲一级中文字幕| 国产伦精品一区二| 91精品丝袜国产高跟在线| 日韩一区高清| 一区二区在线精品| 国产97在线看| 精品国产乱码一区二区三区在线| 亚洲一区中文字幕| 亚洲精品456| 国产精品综合久久| 91福利视频免费观看| 国产第一区二区三区| 亚洲精品日韩激情欧美| 激情久久久久久| 日韩一区高清| 国产二区不卡| 日韩欧美国产另类| 日韩国产精品一区二区| 日韩av三区| 福利视频亚洲一区| 欧美午夜精品一区二区三区| 国产二区三区视频| 国产精品日韩一区二区| 久久精品色欧美aⅴ一区二区| 自偷自拍亚洲| 国产一区免费在线| 欧美激情在线免费| 国产一区欧美一区| 美女啪啪网站又黄又免费| 国产第一区二区三区| 亚洲欧美制服丝腿| 91久久免费| 国产一区二区电影| 精品国产免费一区二区三区| 国产一区二区电影在线观看| 日韩午夜三级| 日本高清二区| 亚洲区日韩| 久久国产精品二区| 国产一区精品在线观看| 999国产精品999久久久久久| 亚洲精品国产suv| 国产1区2区3区| 亚洲午夜精品一区二区三区电影院| 国产午夜亚洲精品| 国产麻豆一区二区三区在线观看| 国产又黄又硬又湿又黄| 鲁一鲁一鲁一鲁一鲁一av| 在线观看欧美日韩国产| 亚洲欧美日韩精品suv| 午夜激情免费电影| 国产伦理久久精品久久久久| 欧美一区二区三区免费看| 99国产超薄丝袜足j在线观看| 美国三级日本三级久久99| 91免费国产| 国产视频精品一区二区三区| 午夜爱爱电影| 国产v亚洲v日韩v欧美v片| 中文字幕一区二区三区乱码视频| 国产乱人伦精品一区二区三区| 日韩av免费电影| 理论片午午伦夜理片在线播放| 国产精品日韩精品欧美精品| 国产一区二区三区大片| 狠狠色丁香久久婷婷综| 国产激情视频一区二区| 精品videossexfreeohdbbw| 国产日韩欧美另类| 精品国产一区二区三区久久久久久 | 午夜影院啪啪| 亚洲精品久久久久中文第一暮| 欧美一区二区精品久久911| 精品久久久久久亚洲综合网| 538在线一区二区精品国产| 久久精品com| 国产精品一区在线观看| **毛片免费| 亚洲精品丝袜| 在线观看欧美一区二区三区| 欧美一区二区久久| 日韩欧美激情| 久久精品欧美一区二区| 久久夜色精品亚洲噜噜国产mv| 日韩国产精品久久| 国产精品电影免费观看| 国产女人和拘做受视频免费| 欧美激情精品久久久久久免费| 免费看欧美中韩毛片影院| 亚洲伊人久久影院| 午夜黄色网址| 国产综合亚洲精品| av午夜电影| 亚洲乱视频| 国产盗摄91精品一区二区三区| 久久久久国产精品www| 午夜伦理片在线观看| 99久久婷婷国产精品综合| 国产大片黄在线观看私人影院| 亚洲福利视频一区| 亚洲欧美一区二区三区不卡| 中文字幕av一区二区三区高| 国产免费区| 久精品国产| 国产一区二区a| 亚洲欧洲一区二区| 欧美一区二区三区激情| 91精品久久久久久| 国产一区欧美一区| 国产一区二区手机在线观看| 综合久久一区二区三区| 国产日韩欧美精品一区| 国产女人好紧好爽| 狠狠躁夜夜av| 高清在线一区二区| 精品久久9999| 99久久婷婷国产综合精品电影 | 99国产超薄丝袜足j在线观看| 精品91av| 国产理论片午午午伦夜理片2021 | 午夜av在线电影| 夜夜精品视频一区二区| 欧美乱妇高清无乱码一级特黄| 国产精品久久久视频| 国产理论一区二区三区| 国产精品偷拍| 久久影视一区二区| 欧美精品一区二区久久| 日韩av在线影院| 欧美精品第1页| 国产99久久久久久免费看| 国产丝袜一区二区三区免费视频| 一区二区三区日韩精品| 欧美一区二区三区性| 日韩一级视频在线| 精品婷婷伊人一区三区三| 中文字幕日本精品一区二区三区| 久久99久国产精品黄毛片入口 | 欧美激情视频一区二区三区免费| 一区二区在线不卡|