[發(fā)明專利]獲取語料的方法及裝置、生成翻譯模型的方法及系統(tǒng)、機(jī)器翻譯的方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201110307878.6
• 申請日: 2011-10-12
• 公開（公告）號: CN103049436A
• 公開（公告）日: 2013-04-17
• 發(fā)明（設(shè)計(jì)）人: 馬艷軍;吳華;王海峰
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06F17/28
• 分類號: G06F17/28;G06F17/30
• 代理公司: 北京鴻德海業(yè)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11412
• 代理人: 袁媛

1.一種獲取語料的方法，其特征在于，所述方法包括：

將雙語語料中來自相同頁面的雙語句對歸并為一組從而將所述雙語語料劃分為多個歸并語料；

從各個歸并語料中選擇長度超過設(shè)定閾值的歸并語料組成長語料；

采用聚類的方法，將相同領(lǐng)域的長語料聚為一類；

利用聚類得到的各領(lǐng)域的長語料訓(xùn)練分類模型；

使用訓(xùn)練后的分類模型對所述雙語語料中的短語料進(jìn)行分類，以確定所述短語料所屬領(lǐng)域，并將各領(lǐng)域的短語料與相同領(lǐng)域的長語料進(jìn)行合并，得到各領(lǐng)域的訓(xùn)練語料，其中所述短語料為所述雙語語料中除所述長語料之外的其他語料。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述聚類的方法為潛在概率語義分析方法。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，對所述長語料進(jìn)行聚類時采用的聚類特征包括：對所述長語料進(jìn)行分詞后，各個詞語在所述長語料中出現(xiàn)的次數(shù)及各互譯詞對在所述長語料中出現(xiàn)的次數(shù)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述分類模型包括貝葉斯模型、支持向量機(jī)模型、K近鄰分類模型或最大熵模型。

5.一種生成翻譯模型的方法，其特征在于，所述方法包括：

采用權(quán)利要求1至4中任一權(quán)項(xiàng)所述方法獲取各領(lǐng)域的訓(xùn)練語料；

使用各領(lǐng)域的訓(xùn)練語料對翻譯模型進(jìn)行訓(xùn)練得到各領(lǐng)域翻譯模型。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述方法進(jìn)一步包括：

將各領(lǐng)域的訓(xùn)練語料合并后對翻譯模型進(jìn)行訓(xùn)練得到通用翻譯模型。

7.一種機(jī)器翻譯方法，其特征在于，所述方法包括：

A.使用第一分類模型對待翻譯文本進(jìn)行分類，以確定所述待翻譯文本所屬領(lǐng)域，其中所述第一分類模型由各領(lǐng)域的訓(xùn)練語料訓(xùn)練得到；

B.利用與所述待翻譯文本所屬領(lǐng)域?qū)?yīng)的領(lǐng)域翻譯模型對所述待翻譯文本進(jìn)行翻譯，其中所述領(lǐng)域翻譯模型由對應(yīng)領(lǐng)域的訓(xùn)練語料訓(xùn)練得到。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述第一分類模型包括：貝葉斯模型、支持向量機(jī)模型、K近鄰分類模型或最大熵模型。

9.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述步驟A進(jìn)一步包括確定所述待翻譯文本歸屬于所述待翻譯文本所屬領(lǐng)域的概率并判斷該概率是否高于設(shè)定的第一閾值，如果是，則所述步驟B中，將與所述待翻譯文本所屬領(lǐng)域?qū)?yīng)的領(lǐng)域翻譯模型與通用翻譯模型融合后對所述待翻譯文本進(jìn)行翻譯，其中所述通用翻譯模型由各領(lǐng)域的訓(xùn)練語料合并后訓(xùn)練得到。

10.根據(jù)權(quán)利要求7至9中任一權(quán)項(xiàng)所述的方法，其特征在于，各領(lǐng)域的訓(xùn)練語料是采用下列方式得到的：

將雙語語料中來自相同頁面的雙語句對歸并為一組從而將所述雙語語料劃分為多個歸并語料；

從各個歸并語料中選擇長度超過設(shè)定的第二閾值的歸并語料組成長語料；

采用聚類的方法，將相同領(lǐng)域的長語料聚為一類；

利用聚類得到的各領(lǐng)域的長語料訓(xùn)練第二分類模型；

使用訓(xùn)練后的第二分類模型對所述雙語語料中的短語料進(jìn)行分類，以確定所述短語料所屬領(lǐng)域，并將各領(lǐng)域的短語料與相同領(lǐng)域的長語料進(jìn)行合并，得到各領(lǐng)域的訓(xùn)練語料，其中所述短語料為所述雙語語料中除所述長語料之外的其他語料。

11.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述聚類的方法為潛在概率語義分析方法。

12.根據(jù)權(quán)利要求10所述的方法，其特征在于，對所述長語料進(jìn)行聚類時采用的聚類特征包括：對所述長語料進(jìn)行分詞后，各個詞語在所述長語料中出現(xiàn)的次數(shù)及各互譯詞對在所述長語料中出現(xiàn)的次數(shù)。

13.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述第二分類模型包括：貝葉斯模型、支持向量機(jī)模型、K近鄰分類模型或最大熵模型。