[發明專利]計算句子相似度的方法和裝置以及機器翻譯的方法和裝置

有效

• 申請號: 201110303522.5
• 申請日: 2011-10-09
• 公開（公告）號: CN103034627A
• 公開（公告）日: 2013-04-10
• 發明（設計）人: 劉占一;吳華;王海峰
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F17/28
• 分類號: G06F17/28
• 代理公司: 北京鴻德海業知識產權代理事務所(普通合伙) 11412
• 代理人: 袁媛

1.一種計算句子相似度的方法，其特征在于，該方法包括：

A、對第一句子和第二句子進行比較，確定差異詞對；

B、利用差異詞對中差異詞與其所在第一句子或第二句子中其他詞語的搭配概率，為各差異詞打分，其中兩詞語之間的搭配概率通過查詢搭配概率模型得到，所述搭配概率模型中兩詞語之間的搭配概率由所述兩詞語在預設的語料庫中的共現次數統計得到；

C、利用差異詞對中各差異詞的打分結果，確定差異詞對的打分；

D、利用各差異詞對的打分結果，確定所述第一句子和所述第二句子的相似度。

2.根據權利要求1所述的方法，其特征在于，在所述步驟B中，按照如下公式為各差異詞打分：

其中r(w_i，E)為差異詞w_i的打分結果，E為差異詞w_i所在的第一句子或第二句子，w_j為E中除w_i之外的其他詞語，r(w_i，w_j)為w_i和w_j的搭配概率，m為E包含的詞語數目。

3.根據權利要求1或2所述的方法，其特征在于，在所述步驟C中，按照如下公式為差異詞對打分：

S(w,w~)=r(w,E1)α1*r(w~,E2)α2;]]>或者，S(w,w~)=β1*r(w,E1)+β2*r(w~,E2);]]>

其中，為由差異詞w和構成的差異詞對的打分結果，r(w，E1)為第一句子E1中的差異詞w的打分結果，為第二句子E2中的差異詞的打分結果，α1、α2、β1和β2為預設的權值參數。

4.根據權利要求1所述的方法，其特征在于，該方法還包括：確定差異詞對中兩差異詞的特征向量，利用所述兩差異詞的特征向量，計算所述兩差異詞的相似距離；

所述步驟C中確定差異詞對的打分時，進一步利用差異詞對中兩差異詞的相似距離。

5.根據權利要求4所述的方法，其特征在于，差異詞的特征向量的確定方式具體為：

查詢所述搭配概率模型，將與差異詞的搭配概率達到預設搭配概率閾值的詞語構成該差異詞的特征向量。