[發(fā)明專(zhuān)利]一種基于多維度數(shù)據(jù)分析和語(yǔ)義的中英語(yǔ)料庫(kù)校對(duì)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710031471.2
• 申請(qǐng)日: 2017-01-17
• 公開(kāi)（公告）號(hào): CN106874263A
• 公開(kāi)（公告）日: 2017-06-20
• 發(fā)明（設(shè)計(jì)）人: 程國(guó)艮;宋金平
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中譯語(yǔ)通科技（北京）有限公司
• 主分類(lèi)號(hào): G06F17/28
• 分類(lèi)號(hào): G06F17/28;G06F17/27
• 代理公司: 北京萬(wàn)貝專(zhuān)利代理事務(wù)所(特殊普通合伙)11520
• 代理人: 馬紅

技術(shù)領(lǐng)域

本發(fā)明屬于統(tǒng)計(jì)機(jī)器翻譯技術(shù)領(lǐng)域，尤其涉及一種基于多維度數(shù)據(jù)分析和語(yǔ)義的中英語(yǔ)料庫(kù)校對(duì)方法。

背景技術(shù)

統(tǒng)計(jì)機(jī)器翻譯主要包括翻譯模型和語(yǔ)言模型兩大部分，其中翻譯模型由雙語(yǔ)平行語(yǔ)料庫(kù)訓(xùn)練而來(lái)，語(yǔ)言模型由目標(biāo)語(yǔ)言單語(yǔ)語(yǔ)料訓(xùn)練而來(lái)，統(tǒng)計(jì)機(jī)器翻譯引擎的質(zhì)量在很大程度上取決于用來(lái)訓(xùn)練的雙語(yǔ)平行語(yǔ)料庫(kù)的質(zhì)量。國(guó)外有研究表明，經(jīng)過(guò)校對(duì)的高質(zhì)量的1000萬(wàn)句對(duì)的雙語(yǔ)語(yǔ)料和未經(jīng)校對(duì)的8000萬(wàn)句對(duì)的語(yǔ)料所訓(xùn)練出來(lái)的引擎翻譯質(zhì)量相當(dāng)。由于雙語(yǔ)平行語(yǔ)料一般數(shù)量龐大，動(dòng)輒數(shù)千萬(wàn)甚至上億句對(duì)，而且來(lái)源復(fù)雜。

綜上所述，現(xiàn)有技術(shù)的存在的問(wèn)題是：雙語(yǔ)平行語(yǔ)料數(shù)量來(lái)源復(fù)雜造成校對(duì)不正確和不整齊。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于多維度數(shù)據(jù)分析和語(yǔ)義的中英語(yǔ)料庫(kù)校對(duì)方法，旨在解決雙語(yǔ)平行語(yǔ)料數(shù)量來(lái)源復(fù)雜造成校對(duì)不正確和不整齊的問(wèn)題。

本發(fā)明是這樣實(shí)現(xiàn)的，一種基于多維度數(shù)據(jù)分析和語(yǔ)義的中英語(yǔ)料庫(kù)校對(duì)方法，所述基于多維度數(shù)據(jù)分析和語(yǔ)義的中英語(yǔ)料庫(kù)校對(duì)方法為：利用規(guī)則機(jī)器翻譯引擎，將語(yǔ)料庫(kù)中的英語(yǔ)句子翻譯成中文；然后此中文和語(yǔ)料庫(kù)中的中文句子進(jìn)行匹配；根據(jù)匹配率，輔以距離、長(zhǎng)度、編號(hào)多維度數(shù)據(jù)分析特征，找出不匹配的句對(duì)，留下準(zhǔn)確的句對(duì)，從而校對(duì)出正確的語(yǔ)料庫(kù)。

進(jìn)一步，所述基于多維度數(shù)據(jù)分析和語(yǔ)義的中英語(yǔ)料庫(kù)校對(duì)方法具體包括以下步驟：

檢查英文句子中是否存在漢字，通過(guò)漢字內(nèi)碼表，自動(dòng)取出英文句子中存在漢字的句子；

檢查英中句子長(zhǎng)度是否匹配，計(jì)算英文句子的長(zhǎng)度和漢語(yǔ)句子的長(zhǎng)度的比值，其中英文句子長(zhǎng)度就是句子中英文字符的數(shù)量，漢語(yǔ)句子長(zhǎng)度就是句子中漢字的數(shù)量，就是然后設(shè)定一個(gè)閾值，超出該閾值范圍的不匹配，閾值比值范圍為：0.4≤閾值比值≤6；

檢查句子是否超長(zhǎng)，計(jì)算句子中英文句子的長(zhǎng)度和漢語(yǔ)句子的長(zhǎng)度，用于統(tǒng)計(jì)機(jī)器翻譯訓(xùn)練的句子中，漢語(yǔ)句子長(zhǎng)度大于500或英語(yǔ)句子長(zhǎng)度大于800為超長(zhǎng)句子，去掉；

檢查漢語(yǔ)句子中的英文是否太多，計(jì)算漢語(yǔ)句子中英文字符的數(shù)量，用于統(tǒng)計(jì)機(jī)器翻譯訓(xùn)練的句子，訓(xùn)練出的翻譯模型為中英短語(yǔ)對(duì)，一個(gè)漢語(yǔ)句子中含有非漢字和標(biāo)點(diǎn)的字符數(shù)超過(guò)40，將非漢字和標(biāo)點(diǎn)去掉；

檢查漢語(yǔ)句子中漢字是否太少，計(jì)算漢語(yǔ)句子中漢字的數(shù)量，用于統(tǒng)計(jì)機(jī)器翻譯訓(xùn)練的句子，訓(xùn)練出的翻譯模型是中英短語(yǔ)對(duì)，漢語(yǔ)句子中漢字?jǐn)?shù)量少于2，該句子不合格；

檢查圓括號(hào)是否匹配，首先檢查英文句子的圓括號(hào)是否配對(duì)，然后檢查漢語(yǔ)句子的圓括號(hào)是否配對(duì)，再檢查英文句子和漢語(yǔ)句子雙方的圓括號(hào)是否配對(duì)；計(jì)算英文句子中左圓括號(hào)的數(shù)量，再計(jì)算英文句子中右圓括號(hào)的數(shù)量，看兩者數(shù)量是否相等；計(jì)算漢語(yǔ)句子中左圓括號(hào)的數(shù)量，再計(jì)算漢語(yǔ)句子中右圓括號(hào)的數(shù)量，看兩者數(shù)量是否相等；計(jì)算英語(yǔ)句子中左圓括號(hào)的數(shù)量，再計(jì)算漢語(yǔ)句子中左圓括號(hào)的數(shù)量，看兩者數(shù)量是否相等；計(jì)算英語(yǔ)句子中右圓括號(hào)的數(shù)量，再計(jì)算漢語(yǔ)句子中右圓括號(hào)的數(shù)量，看兩者數(shù)量是否相等；

檢查方括號(hào)是否匹配，首先檢查英文句子的方括號(hào)是否配對(duì)，然后檢查漢語(yǔ)句子的方括號(hào)是否配對(duì)，再檢查英文句子和漢語(yǔ)句子雙方的方括號(hào)是否配對(duì)；

檢查句首項(xiàng)目符號(hào)與編號(hào)是否匹配，對(duì)原文和譯文部分句首項(xiàng)目符號(hào)與編號(hào)不匹配的進(jìn)行校正；如果原文句首有項(xiàng)目符號(hào)與編號(hào)，而譯文句首沒(méi)有項(xiàng)目符號(hào)與編號(hào)，則將原文的句首項(xiàng)目符號(hào)與編號(hào)刪除掉；如果譯文句首有項(xiàng)目符號(hào)與編號(hào)，而原文句首沒(méi)有項(xiàng)目符號(hào)與編號(hào)，則將譯文的句首項(xiàng)目符號(hào)與編號(hào)刪除掉；

檢查數(shù)字是否正確，檢查語(yǔ)料庫(kù)中數(shù)字是否錯(cuò)誤，以及檢查原譯文數(shù)字不相匹配的錯(cuò)誤；采用查找關(guān)鍵詞“C:D:D||C:D：D||C:^D1&&！E:^D1”的方法，找出問(wèn)題句對(duì)；其中C:代表在漢語(yǔ)句子中查找，D代表任意數(shù)字，為多個(gè)數(shù)字；D:D代表數(shù)字，:為數(shù)字的模式，^代表句首，D1代表一個(gè)數(shù)字；||為邏輯或運(yùn)算，&&為邏輯與運(yùn)算，！為邏輯非運(yùn)算；C:^D1&&！E:^D1表示漢語(yǔ)句子以數(shù)字開(kāi)始，同時(shí)其對(duì)應(yīng)英文句子不是以數(shù)字開(kāi)始；

檢查各種亂碼，根據(jù)漢字的內(nèi)碼表和提取一個(gè)全部由亂碼組成的關(guān)鍵字文件檢查各種亂碼；

語(yǔ)義校對(duì)，對(duì)語(yǔ)料庫(kù)進(jìn)行語(yǔ)義校對(duì)是本發(fā)明的重點(diǎn)，方法是采用英漢規(guī)則機(jī)器翻譯引擎對(duì)句對(duì)中的英文句子進(jìn)行翻譯，得到中文譯文，然后將該譯文和該句對(duì)中的中文進(jìn)行相似度計(jì)算，相似度低于某個(gè)閾值的認(rèn)為是不合格句對(duì)。

進(jìn)一步，檢查各種亂碼中，采用兩種方法檢查亂碼，具體包括：