[發(fā)明專利]一種平行語(yǔ)料獲取方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110181644.5
• 申請(qǐng)日: 2021-02-08
• 公開（公告）號(hào): CN112906371A
• 公開（公告）日: 2021-06-04
• 發(fā)明（設(shè)計(jì)）人: 張闖;吳培昊
• 申請(qǐng)（專利權(quán)）人: 北京有竹居網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號(hào): G06F40/211
• 分類號(hào): G06F40/211;G06F40/30
• 代理公司: 北京遠(yuǎn)智匯知識(shí)產(chǎn)權(quán)代理有限公司 11659
• 代理人: 范坤坤

1.一種平行語(yǔ)料獲取方法，其特征在于，包括：

拆分預(yù)先獲取的第一文本和第二文本，得到所述第一文本對(duì)應(yīng)的第一句子列表和所述第二文本對(duì)應(yīng)的第二句子列表，所述第一文本和第二文本為同一語(yǔ)種，用于描述同一內(nèi)容；

確定所述第一句子列表中每一個(gè)第一語(yǔ)句與所述第二句子列表中各第二語(yǔ)句之間的語(yǔ)義相似值，得到相似值矩陣；

根據(jù)所述相似值矩陣確定所述第一語(yǔ)句與所述第二語(yǔ)句的映射關(guān)系，所述映射關(guān)系包括一對(duì)N、N對(duì)一和一對(duì)一中的至少一種，N為大于或等于2的整數(shù)；

根據(jù)所述映射關(guān)系獲取與所述第一語(yǔ)句關(guān)聯(lián)的目標(biāo)第二語(yǔ)句，并將所述第一語(yǔ)句與所述目標(biāo)第二語(yǔ)句記為平行語(yǔ)料。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定所述第一句子列表中每一個(gè)第一語(yǔ)句與所述第二句子列表中各第二語(yǔ)句之間的語(yǔ)義相似值，得到相似值矩陣，包括：

將所述第一句子列表中的第一語(yǔ)句和所述第二句子列表中的第二語(yǔ)句輸入語(yǔ)義相似值模型，由所述語(yǔ)義相似值模型輸出所述第一語(yǔ)句與所述第二語(yǔ)句的語(yǔ)義相似值，所述語(yǔ)義相似值模型通過語(yǔ)義相似值不同的語(yǔ)句對(duì)訓(xùn)練得到；

順序排列各所述第一語(yǔ)句對(duì)應(yīng)的語(yǔ)義相似值，得到相似值矩陣，所述相似值矩陣的行數(shù)等于所述第一句子列表包含的第一語(yǔ)句的數(shù)量，所述相似值矩陣的列數(shù)等于所述第二句子列表包含的第二語(yǔ)句的數(shù)量。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述相似值矩陣確定所述第一語(yǔ)句與所述第二語(yǔ)句的映射關(guān)系，包括：

將所述相似值矩陣第一個(gè)元素的位置記為當(dāng)前元素位置；

如果所述當(dāng)前元素位置對(duì)應(yīng)的語(yǔ)義相似值等于第一預(yù)設(shè)值，則確定所述當(dāng)前元素位置對(duì)應(yīng)的第一語(yǔ)句與第二語(yǔ)句的映射關(guān)系為一對(duì)一，所述第一預(yù)設(shè)值用于表示所述當(dāng)前元素位置對(duì)應(yīng)的第一語(yǔ)句與第二語(yǔ)句的語(yǔ)義相似程度最高；

將下一個(gè)元素的位置記為當(dāng)前元素位置，并重復(fù)執(zhí)行上述操作。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述相似值矩陣確定所述第一語(yǔ)句與所述第二語(yǔ)句的映射關(guān)系，包括：

將所述相似值矩陣第一個(gè)元素的位置記為當(dāng)前元素位置；

如果所述當(dāng)前元素位置對(duì)應(yīng)的語(yǔ)義相似值小于第一預(yù)設(shè)值，則合并所述當(dāng)前元素位置對(duì)應(yīng)的第二語(yǔ)句與下一個(gè)元素位置對(duì)應(yīng)的第二語(yǔ)句，得到第一合并語(yǔ)句，所述第一預(yù)設(shè)值用于表示所述當(dāng)前元素位置對(duì)應(yīng)的第一語(yǔ)句與第二語(yǔ)句的語(yǔ)義相似程度最高；以及合并所述當(dāng)前元素位置對(duì)應(yīng)的第一語(yǔ)句與下一個(gè)元素位置對(duì)應(yīng)的第一語(yǔ)句，得到第二合并語(yǔ)句；

根據(jù)所述當(dāng)前元素位置對(duì)應(yīng)的第一語(yǔ)句與所述第一合并語(yǔ)句的語(yǔ)義相似值、所述第二合并語(yǔ)句與所述當(dāng)前元素位置對(duì)應(yīng)的第二語(yǔ)句的語(yǔ)義相似值以及所述下一個(gè)元素位置對(duì)應(yīng)的語(yǔ)義相似值，確定所述當(dāng)前元素位置對(duì)應(yīng)的第一語(yǔ)句與第二語(yǔ)句的映射關(guān)系；

將下一個(gè)元素的位置記為當(dāng)前元素位置，并重復(fù)執(zhí)行上述操作。