[發明專利]一種對雙語語料庫進行句子對齊的方法及裝置

無效

• 申請號: 201110192171.5
• 申請日: 2011-06-30
• 公開（公告）號: CN102855263A
• 公開（公告）日: 2013-01-02
• 發明（設計）人: 鄭仲光;孟遙;于浩
• 申請（專利權）人: 富士通株式會社
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/28
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 朱勝;李春暉

1.一種對雙語語料庫進行句子對齊的方法，其中所述雙語語料庫中的源語言語料和目標語言語料是塊對齊的，所述方法包括：

針對源語言和目標語言的每個對齊塊，利用從源塊和目標塊中提取出的源關鍵詞列表和目標關鍵詞列表生成候選翻譯對列表，所述候選翻譯對列表中的每個條目為包括源和目標關鍵詞對的翻譯對；

根據所述候選翻譯對列表中的每個翻譯對的翻譯概率生成雙語詞典，所述雙語詞典中的每個條目包括源和目標關鍵詞對及其翻譯概率；

以所述雙語詞典中的每個條目中的源和目標關鍵詞對為種子翻譯對，并參考所述種子翻譯對的上下文內容對所述雙語詞典進行擴展；

基于擴展后的雙語詞典，將源塊中的源句子翻譯成目標語言，并計算翻譯結果與目標塊中的目標句子之間的相似度；以及

依據所述相似度對源句子和目標句子進行對齊。

2.根據權利要求1所述的方法，還包括：

對所述候選翻譯對列表中的翻譯對進行過濾，具體為：對于源關鍵字sw的候選翻譯集合{tw₁，tw₂，…，tw_n}中的每個候選翻譯tw_i，只有sw也出現在所述tw_i的候選翻譯集合中，且tw_i不在停用詞列表中，才保留tw_i；或者，對于目標關鍵字tw的候選翻譯集合{sw₁，sw₂，…，sw_n}中的每個候選翻譯sw_i，只有tw也出現在所述sw_i的候選翻譯集合中，且sw_i都不在停用詞列表中，才保留sw_i。

3.根據權利要求1所述的方法，其中所述根據所述候選翻譯對列表中的每個翻譯對的翻譯概率生成雙語詞典的步驟，包括：

通過以下公式計算所述候選翻譯對列表中的每個翻譯對的翻譯概率：

Pt(sw_i，tw_j)＝log(P(sw_i|tw_j)×P(tw_j|sw_i))，其中，所述translation_num(a)為a在b的候選翻譯集合中的出現次數；word_frequency(b)是b的詞頻；sw_i為第i個源關鍵詞，tw_i為第j個目標關鍵詞；以及

選取所述翻譯概率大于預設閾值的翻譯對生成所述雙語詞典。

4.根據權利要求1所述的方法，其中，所述將源塊中的源句子翻譯成目標語言的步驟，具體包括：

通過查詢所述雙語詞典得到源句子中各個源關鍵詞對應的候選翻譯集；

以及，所述計算翻譯結果與目標塊中的目標句子之間的相似度的處理步驟，具體包括：

按照所述源關鍵詞與所述候選翻譯之間的翻譯概率，計算源句子與目標句子的句翻譯分值；

計算錨點詞分值；

根據源句子和目標句子的長度，計算句子長度懲罰值；以及

依據所述句翻譯分值、所述錨點詞分值和所述句子長度懲罰值，計算源句子與目標句子的相似度。

5.根據權利要求1所述的方法，其中計算源句子與目標句子的句翻譯分值進一步包括：利用源關鍵詞在源句子中的出現次數、目標關鍵詞在目標句子中的出現次數以及源關鍵詞和目標關鍵詞的翻譯概率計算所述句翻譯分值。