[發(fā)明專利]一種基于停用詞表為待譯稿件匹配譯員的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201611212365.6
• 申請(qǐng)日: 2016-12-25
• 公開(kāi)（公告）號(hào): CN106802881A
• 公開(kāi)（公告）日: 2017-06-06
• 發(fā)明（設(shè)計(jì)）人: 宋安琪;張芃
• 申請(qǐng)（專利權(quán)）人: 語(yǔ)聯(lián)網(wǎng)（武漢）信息技術(shù)有限公司
• 主分類號(hào): G06F17/22
• 分類號(hào): G06F17/22;G06F17/27
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種基于停用詞表為待譯稿件匹配譯員的方法；其特征是包括以下步驟:

（1）建立停用詞表

所述建立停用詞表的步驟是通過(guò)譯稿庫(kù)計(jì)算得到高頻通用詞，通過(guò)高頻通用詞和常見(jiàn)停用詞建立停用詞表；

(2) 對(duì)已有譯稿進(jìn)行預(yù)處理，所述已有譯稿記錄著完稿譯員的信息，所述預(yù)處理包括分詞；

(3) 對(duì)待譯稿進(jìn)行預(yù)處理，所述預(yù)處理包括分詞；

(4) 將預(yù)處理后的已有譯稿與預(yù)處理后的待譯稿進(jìn)行文檔相似度匹配，獲得候選譯稿；

獲取候選譯稿記錄的譯員信息，保存為待譯稿件匹配譯員的信息。

2.根據(jù)權(quán)利要求1所述的一種基于停用詞表為待譯稿件匹配譯員的方法，其特征是所述建立停用詞表的步驟是：(1) 收集若干類文檔作為訓(xùn)練樣本；(2) 對(duì)譯稿分類器進(jìn)行訓(xùn)練；(3)對(duì)譯稿庫(kù)中已有譯稿進(jìn)行分類；(4)通過(guò)譯稿庫(kù)計(jì)算得到高頻通用詞；(5)通過(guò)高頻通用詞和常見(jiàn)停用詞建立停用詞表。

3.根據(jù)權(quán)利要求1所述的一種基于停用詞表為待譯稿件匹配譯員的方法，其特征是所述對(duì)待譯稿進(jìn)行預(yù)處理的步驟是：（1）對(duì)待譯稿進(jìn)行分詞；（2）提取待譯稿主題，（3）對(duì)待譯稿分詞后的待譯稿內(nèi)容和待譯稿主題進(jìn)行加權(quán)，獲得預(yù)處理后的待譯稿。

4.根據(jù)權(quán)利要求1所述的一種基于停用詞表為待譯稿件匹配譯員的方法，其特征是所述對(duì)已有譯稿進(jìn)行預(yù)處理的步驟是：(1)對(duì)已有譯稿分詞并建立基于詞匯的倒排索引；(2)對(duì)分詞后的已有譯稿提取主題，建立基于譯稿主題的倒排索引；(3)對(duì)基于詞匯的倒排索引和基于譯稿主題的倒排索引進(jìn)行加權(quán)，獲得預(yù)處理后的已有譯稿。

5.根據(jù)權(quán)利要求4所述的一種基于停用詞表為待譯稿件匹配譯員的方法，其特征是所述對(duì)分詞后的已有譯稿提取主題的方法是：(1)如果有標(biāo)題，將標(biāo)題默認(rèn)為主題；(2)如果沒(méi)有標(biāo)題，但有關(guān)鍵詞，根據(jù)關(guān)鍵詞提取譯稿主題；(3)如果沒(méi)有標(biāo)題，也沒(méi)有關(guān)鍵詞，默認(rèn)首句為主題句。

6.根據(jù)權(quán)利要求1所述的一種基于停用詞表為待譯稿件匹配譯員的方法，其特征是所述對(duì)待譯稿進(jìn)行分詞是通過(guò)調(diào)用Lucene搜索引擎進(jìn)行分詞，所述Lucene搜索引擎包括若干種分詞器。

7.根據(jù)權(quán)利要求6所述的一種基于停用詞表為待譯稿件匹配譯員的方法，其特征是所述Lucene搜索引擎根據(jù)語(yǔ)種類別采用相匹配的分詞器對(duì)譯稿庫(kù)中已有譯稿進(jìn)行分詞。

8.根據(jù)權(quán)利要求7所述的一種基于停用詞表為待譯稿件匹配譯員的方法，其特征是所述Lucene搜索引擎根據(jù)語(yǔ)種類別采用相匹配的分詞器，所述語(yǔ)種類別包括拉丁語(yǔ)系和東亞語(yǔ)系，所述拉丁語(yǔ)系采用具有詞干提取功能的分詞器，所述東亞語(yǔ)系采用基于詞典和統(tǒng)計(jì)的分詞器。

9.根據(jù)權(quán)利要求1所述的一種基于停用詞表為待譯稿件匹配譯員的方法，其特征是所述將預(yù)處理后的已有譯稿與預(yù)處理后的待譯稿件進(jìn)行文檔相似度匹配的步驟是根據(jù)公式(一)計(jì)算文檔相似度，所述公式(一)為：

其中，Q表示待譯稿件，d表示已有譯稿，qi表示預(yù)處理后的待譯稿件詞語(yǔ)，N表示譯稿庫(kù)中的總文檔數(shù)；

k1， b為調(diào)節(jié)因子，設(shè)置k1=1.2，b=0.75，fi為qi在d中的出現(xiàn)次數(shù)，n(qi)為譯稿庫(kù)中包含qi的文檔數(shù)，dl為已有譯稿d的長(zhǎng)度，avgdl為譯稿庫(kù)中所有文檔的平均長(zhǎng)度；

所述公式一的計(jì)算因子N，qi，n（qi），dl，avgdl，fi由以下步驟得出；

（a）記錄譯稿庫(kù)中的總文檔數(shù)N，總文檔長(zhǎng)度adl，根據(jù)公式計(jì)算得出平均文檔長(zhǎng)度avgdl；

（b）根據(jù)步驟（2）獲取預(yù)處理后的待譯稿件詞語(yǔ)qi，獲取已有譯稿d的長(zhǎng)度dl，獲取qi在已有譯稿d中的出現(xiàn)次數(shù) fi，計(jì)算譯稿庫(kù)中包含qi的文檔數(shù)n(qi) 。

10.根據(jù)權(quán)利要求9所述的一種基于停用詞表為待譯稿件匹配譯員的方法，其特征是所述公式（一）是由公式集合（二）轉(zhuǎn)換而來(lái)，

所述公式集合（二）為：

其中， Wi表示qi的權(quán)重；R(qi，d)表示qi與已有譯稿d的相關(guān)性得分，

k1，k2，b為調(diào)節(jié)因子，設(shè)k2=0 ，qfi為qi在待譯稿件中的出現(xiàn)頻率，Wi表示詞語(yǔ)與文檔相關(guān)性的權(quán)重，IDF為逆文檔頻率。