[發(fā)明專利]編碼方法、裝置、設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201910069752.6
• 申請日: 2019-01-24
• 公開（公告）號: CN110147533B
• 公開（公告）日: 2023-08-29
• 發(fā)明（設(shè)計）人: 譚翊章;孫碩;曹杰;田樂;牛成;周杰
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F40/151
• 分類號: G06F40/151;G06F40/205;G06N3/0442;G06N3/08;G06F16/332;G06F16/35;G06F40/284
• 代理公司: 北京三高永信知識產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 張所明

1.一種編碼方法，其特征在于，所述方法包括：

獲取目標(biāo)段落和所述目標(biāo)段落的上下文語句，將所述目標(biāo)段落和所述上下文語句輸入至記憶編碼模型，所述目標(biāo)段落包括至少一個語句，所述記憶編碼模型至少包括輸入層、記憶層、門控層和輸出層；

在所述輸入層中，獲取所述目標(biāo)段落的原始向量集合和記憶向量集合，所述原始向量集合包括所述目標(biāo)段落中每個語句的語句向量，所述記憶向量集合包括所述目標(biāo)段落的上下文語句中每個詞語的詞向量；

在所述記憶層中，采用注意力學(xué)習(xí)機制，從所述記憶向量集合中抽取與所述原始向量集合相關(guān)的信息，得到第一目標(biāo)語句矩陣，所述第一目標(biāo)語句矩陣用于根據(jù)所述原始向量集合與所述記憶向量集合之間的關(guān)聯(lián)關(guān)系，對所述目標(biāo)段落進行描述；

所述門控層包括線性網(wǎng)絡(luò)模型，在所述門控層中，應(yīng)用所述線性網(wǎng)絡(luò)模型，獲取所述原始向量集合對應(yīng)的線性數(shù)值，采用預(yù)設(shè)函數(shù)對所述線性數(shù)值進行處理，得到所述原始向量集合的第一權(quán)重，以使所述第一權(quán)重屬于預(yù)設(shè)數(shù)值范圍；計算1與所述第一權(quán)重的差值，得到所述第一目標(biāo)語句矩陣的第二權(quán)重；按照所述第一權(quán)重和所述第二權(quán)重，對所述原始向量集合與所述第一目標(biāo)語句矩陣進行加權(quán)求和，得到第二目標(biāo)語句矩陣；

在所述輸出層中，對所述第二目標(biāo)語句矩陣進行列向求和，得到段落向量；

基于所述段落向量進行處理。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述輸入層包括語句編碼模型，所述在所述輸入層中，獲取所述目標(biāo)段落的原始向量集合和記憶向量集合，包括：

根據(jù)所述目標(biāo)段落中每個語句中每個詞語的詞向量，應(yīng)用所述語句編碼模型，獲取所述每個語句的語句向量，得到所述原始向量集合；

根據(jù)所述上下文語句中每個詞語的詞向量，獲取所述記憶向量集合。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述語句編碼模型包括第一語句編碼子模型和第二語句編碼子模型；所述根據(jù)所述目標(biāo)段落中每個語句中每個詞語的詞向量，應(yīng)用所述語句編碼模型，獲取所述每個語句的語句向量，得到所述原始向量集合，包括：

對于所述目標(biāo)段落中的每個語句，

獲取所述語句中每個詞語的詞向量，得到多個詞向量；

應(yīng)用所述第一語句編碼子模型，對所述多個詞向量進行正序編碼，得到第一向量，應(yīng)用所述第二語句編碼子模型，對所述多個詞向量進行倒序編碼，得到第二向量；

根據(jù)所述第一向量和所述第二向量，獲取所述語句的語句向量。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述記憶層包括記憶模型，所述在所述記憶層中，采用注意力學(xué)習(xí)機制，從所述記憶向量集合中抽取與所述原始向量集合相關(guān)的信息，得到第一目標(biāo)語句矩陣，包括：

應(yīng)用所述記憶模型，獲取所述記憶向量集合對應(yīng)的第一記憶矩陣和第二記憶矩陣；

根據(jù)所述原始向量集合、所述第一記憶矩陣和所述第二記憶矩陣，獲取所述第一目標(biāo)語句矩陣。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述記憶向量集合與所述原始向量集合相同，所述根據(jù)所述原始向量集合、所述第一記憶矩陣和所述第二記憶矩陣，獲取所述第一目標(biāo)語句矩陣，包括：

獲取所述原始向量集合與所述第一記憶矩陣的相似度矩陣；

對所述相似度矩陣進行概率分布計算，得到概率矩陣；

根據(jù)所述第二記憶矩陣和所述概率矩陣，獲取所述第一目標(biāo)語句矩陣。

6.根據(jù)權(quán)利要求1-5任一項所述的方法，其特征在于，所述方法還包括：

將所述第二目標(biāo)語句矩陣作為更新后的原始向量集合和記憶向量集合，在所述記憶層和所述門控層中，重復(fù)執(zhí)行根據(jù)更新后的原始向量集合和記憶向量集合獲取目標(biāo)語句矩陣的步驟，直至重復(fù)次數(shù)達(dá)到預(yù)設(shè)次數(shù)時，在所述門控層中，按照所述第一權(quán)重和所述第二權(quán)重，對所述原始向量集合與當(dāng)前的第一目標(biāo)語句矩陣進行加權(quán)求和，得到第二目標(biāo)語句矩陣。