[發(fā)明專利]句對匹配率的確定方法、裝置、計算機設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010771675.1
• 申請日: 2020-08-04
• 公開（公告）號: CN111783430A
• 公開（公告）日: 2020-10-16
• 發(fā)明（設(shè)計）人: 高俊
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/216;G06F40/126;G06F40/289;G06F40/30;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州華進聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 黃晶晶

本申請涉及一種自然語言處理的句對匹配率的確定方法、裝置、計算機設(shè)備和存儲介質(zhì)。所述方法包括：獲取句對，并確定所述句對的詞對；所述詞對包括相匹配的詞，且相匹配的詞分別來自所述句對中的不同句子；獲取所述詞對中的各詞的詞向量，根據(jù)所述各詞的詞向量確定所述各詞之間的相似度；通過多視角注意力網(wǎng)絡(luò)的各層基于所述各詞的詞向量進行注意力分配處理，得到所述各層輸出的所述詞對的詞對權(quán)重；根據(jù)所述相似度和所述詞對權(quán)重，確定所述句對中所述不同句子的匹配率。采用本方法能夠準(zhǔn)確預(yù)測句子間的匹配概率。

技術(shù)領(lǐng)域

本申請涉及計算機技術(shù)領(lǐng)域，特別是涉及一種句對匹配率的確定方法、裝置、計算機設(shè)備和存儲介質(zhì)。

背景技術(shù)

眾多自然語言處理領(lǐng)域的研究都依賴于大規(guī)模的平行語料庫的支撐，例如機器翻譯、跨語言信息檢索、雙語詞典構(gòu)建、詞對齊以及多語言詞匯表征等。使用質(zhì)量越高、資源越豐富的平行語料庫，自然語言處理得到的目標(biāo)結(jié)果越好。

句子對齊為眾多跨語言的自然語言處理研究提供了高質(zhì)量的平行句對，句子對齊旨在找到雙語或多語文本中的語義對等的句對。而傳統(tǒng)的句子對齊方法主要依賴于人工制定的淺層語義特征，并且容易受到語言稀疏性問題的影響，導(dǎo)致句子對齊的檢測不準(zhǔn)確。

發(fā)明內(nèi)容

基于此，有必要針對上述技術(shù)問題，提供一種能夠準(zhǔn)確預(yù)測句子對齊概率的句對匹配率的確定方法、裝置、計算機設(shè)備和存儲介質(zhì)。

一種句對匹配率的確定方法，所述方法包括：

獲取句對，并確定所述句對的詞對；所述詞對包括相匹配的詞，且相匹配的詞分別來自所述句對中的不同句子；

獲取所述詞對中的各詞的詞向量，根據(jù)所述各詞的詞向量確定所述各詞之間的相似度；

通過多視角注意力網(wǎng)絡(luò)的各層基于所述各詞的詞向量進行注意力分配處理，得到所述各層輸出的所述詞對的詞對權(quán)重；

根據(jù)所述相似度和所述詞對權(quán)重，確定所述句對中所述不同句子的匹配率。

在一個實施例中，所述基于所述目標(biāo)權(quán)重矩陣確定所述句對中的所述不同句子的匹配率，包括：

對所述目標(biāo)權(quán)重矩陣進行最大池化處理，將最大池化處理后得到的矩陣進行全連接處理，以獲得所述句對中的所述不同句子的匹配率。

一種句對匹配率的確定裝置，所述裝置包括：

句對獲取模塊，用于獲取句對，并確定所述句對的詞對；所述詞對包括相匹配的詞，且相匹配的詞分別來自所述句對中的不同句子；

相似度確定模塊，用于獲取所述詞對中的各詞的詞向量，根據(jù)所述各詞的詞向量確定所述各詞之間的相似度；

詞對權(quán)重確定模塊，用于通過多視角注意力網(wǎng)絡(luò)的各層基于所述各詞的詞向量進行注意力分配處理，得到所述各層輸出的所述詞對的詞對權(quán)重；

匹配率確定模塊，用于根據(jù)所述相似度和所述詞對權(quán)重，確定所述句對中的所述不同句子的匹配率。

一種計算機設(shè)備，包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)以下步驟：

獲取句對，并確定所述句對的詞對；所述詞對包括相匹配的詞，且相匹配的詞分別來自所述句對中的不同句子；

獲取所述詞對中的各詞的詞向量，根據(jù)所述各詞的詞向量確定所述各詞之間的相似度；

通過多視角注意力網(wǎng)絡(luò)的各層基于所述各詞的詞向量進行注意力分配處理，得到所述各層輸出的所述詞對的詞對權(quán)重；

根據(jù)所述相似度和所述詞對權(quán)重，確定所述句對中所述不同句子的匹配率。