[發明專利]漢英跨語言新聞話題檢測方法及系統

無效

• 申請號: 201110159605.1
• 申請日: 2011-06-14
• 公開（公告）號: CN102253973A
• 公開（公告）日: 2011-11-23
• 發明（設計）人: 夏云慶
• 申請（專利權）人: 清華大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩

1.一種漢英跨語言新聞話題檢測方法，其特征在于，包括以下步驟：

S1、將跨語言新聞切分為語句，再將所述語句切分為詞匯，所述跨語言新聞包括漢語新聞和英語新聞；

S2、將切分后的漢語新聞和英語新聞表示為跨語言廣義向量空間內的跨語言向量；

S3、計算漢-漢新聞之間、漢-英新聞之間及英-英新聞之間的語義相似度；

S4、基于步驟S3的計算結果對跨語言新聞進行基于語義的話題聚類，從而找出若干個跨語言話題。

2.如權利要求1所述的方法，其特征在于，步驟S1中，在進行語句切分時采用標點符號判斷語句邊界；在進行漢語詞匯切分時采取雙向最大匹配策略判斷詞匯邊界；在進行英語詞匯切分時借助空格字符和標點符號判斷詞匯邊界。

3.如權利要求1所述的方法，其特征在于，步驟S2包括：

S21、根據漢英語義知識和漢英平行語料的統計信息，計算詞匯間的語義相似度，包括同語言詞匯間的語義相似度和漢英跨語言詞匯間的語義相似度；

S22、進行基于向量空間模型的跨語言新聞文檔表示。

4.如權利要求3所述的方法，其特征在于，步驟S22具體為：通過計算詞匯的特征權重進行特征選擇，然后用向量表示跨語言新聞；其中，選擇權重超過一定閾值的詞匯為特征，所述向量的每一維表示一個特征，而向量在這一維上的數值等于該特征的權重。

5.如權利要求4所述的方法，其特征在于，所述跨語言新聞以文檔的方式儲存，利用下式(1)計算所述特征的權重：

w^s(t，d)＝TF^s(t，d)log(L/DF^s(t))????(1)

其中，t為特征詞，d為目標新聞文檔，TF^s為特征詞t在文檔d中的軟詞頻，DF^s為t的軟文檔頻，L為文檔d包含的詞匯總數。

6.如權利要求5所述的方法，其特征在于，利用下式(2)計算所述軟詞頻TF^s：

TF^s(t，d)＝∑_iTF_i×Sim^WD(t，w_i)????(2)

其中，w_i為文檔d所包含的第i個詞匯，Sim^WD是計算詞匯語義相似度的函數。

7.如權利要求6所述的方法，其特征在于，利用下式(3)計算所述軟文檔頻DF^s：

DFs(t)=Σdj∈DmaxiSimWD(t,wi,j))---(3)]]>

其中D為跨語言新聞文檔集合，w_i，j為第j個新聞文檔d_j所包含的第i個詞匯。