[發(fā)明專利]一種網(wǎng)絡可比語料的挖掘方法

有效

• 申請?zhí)枺?/td>: 201310382010.1
• 申請日: 2013-08-28
• 公開（公告）號: CN103473280B
• 公開（公告）日: 2017-02-08
• 發(fā)明（設計）人: 李淼;朱澤德;張健;曾新華;陳雷;曾偉輝;鄭守國;高會議;胡澤林;楊振新;陳晟;李華龍;董瀚琳;吳娜;卞程飛;翁士狀
• 申請（專利權(quán)）人: 中國科學院合肥物質(zhì)科學研究院
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27
• 代理公司: 合肥天明專利事務所34115
• 代理人: 奚華保

1.一種網(wǎng)絡可比語料的挖掘方法，該方法包括下列順序的步驟：

（1）利用網(wǎng)絡爬蟲獲取源語言網(wǎng)頁，經(jīng)預處理后形成源語言文檔；

（2）根據(jù)已有的雙語語料庫構(gòu)建跨語言主題模型，分析源語言文檔的跨語言主題的概率，利用源語言文檔主題信息產(chǎn)生對應的目標語言查詢詞；

（3）將目標語言查詢詞提交搜索引擎，獲取網(wǎng)絡中的目標語言文檔，選取前N的文檔構(gòu)成目標語言候選相似文檔集；

（4）分析目標語言候選相似文檔的跨語言主題概率分布，根據(jù)主題概率分布的KL散度計算源語言文檔和目標語言候選相似文檔的相似度，篩選出相似度較高的源語言文檔和目標語言候選相似文檔構(gòu)建可比語料庫。

2.根據(jù)權(quán)利要求1所述的網(wǎng)絡可比語料的挖掘方法，其特征在于：在所述步驟（1）中，利用網(wǎng)絡爬蟲抓取源語言原始網(wǎng)頁并存儲至本地數(shù)據(jù)庫中，對收集的網(wǎng)頁進行除去導航條、相關鏈接的去噪聲處理，對網(wǎng)頁的正文內(nèi)容進行分詞、詞性標注、命名實體識別、詞性選擇的預處理。

3.根據(jù)權(quán)利要求1所述的網(wǎng)絡可比語料的挖掘方法，其特征在于：所述步驟（2）包括以下順序的步驟：

（a）在已有的雙語語料庫的基礎上，利用跨語言隱含狄利克雷分配的方法獲取多個跨語言主題模型；

（b）跨語言主題模型對源語言文檔進行語義分析，獲取每一跨語言主題的概率；

（c）根據(jù)源語言文檔的跨語言主題分布和每個主題中目標語言詞匯的概率分布，獲取目標語言候選查詢詞；

（d）根據(jù)目標語言單語語料庫中詞匯的統(tǒng)計信息，合并目標語言候選查詢詞形成目標語言查詢詞。

4.根據(jù)權(quán)利要求1所述的網(wǎng)絡可比語料的挖掘方法，其特征在于：在所述步驟（3）中，N為10。

5.根據(jù)權(quán)利要求1所述的網(wǎng)絡可比語料的挖掘方法，其特征在于：在所述步驟（4）中，源語言文檔和目標語言候選相似文檔的跨語言主題概率分布的KL散度作為衡量源語言文檔和目標語言候選相似文檔的相似度，相似度計算公式如下：

Sim(DmS,DmT)=DKL(DmS||DmS)+DKL(DmT||DmS)2,]]>

其中，為源語言文檔和目標語言候選相似文檔的主題概率分布的KL散度，DKL(DmS||DmT)=[Σk=1KP(Zk|DmS)logP(Zk|DmS)P(Zk|DmT)]-1,]]>為目標語言候選相似文檔和源語言文檔的主題概率分布的KL散度，DKL(DmT||DmS)=[Σk=1KP(Zk|DmT)logP(Zk|DmT)P(Zk|DmS)]-1;]]>T為目標語言--Target?Language，S為源語言--Source?Language,為屬于Ζ_k的概率，為屬于Ζ_k的概率，Ζ_k為第k個跨語言主題，1≤k≤K，K為所述多個跨語言主題的數(shù)量；

選取相似度最大且超過一定閾值β的可比語料加入可比語料庫，否則舍棄源語言文檔和目標語言候選相似文檔。