[發(fā)明專利]一種詞向量表示方法及裝置

在審

• 申請?zhí)枺?/td>: 202010286727.6
• 申請日: 2020-04-13
• 公開（公告）號: CN113536800A
• 公開（公告）日: 2021-10-22
• 發(fā)明（設(shè)計(jì)）人: 李長亮;毛穎;唐劍波
• 申請（專利權(quán)）人: 北京金山數(shù)字娛樂科技有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06N3/04
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 王治東

本申請?zhí)峁┮环N詞向量表示方法及裝置，其中所述方法包括：獲取目標(biāo)詞例對應(yīng)的每個(gè)子詞的向量表示的子詞集合，將所述目標(biāo)詞例對應(yīng)的子詞集合劃分為至少一個(gè)子詞序列，其中，在每個(gè)所述子詞序列中均包括至少一個(gè)子詞的向量表示；對至少一個(gè)所述子詞序列進(jìn)行特征提取，得到每個(gè)所述子詞序列對應(yīng)的特征映射；對每個(gè)所述子詞序列對應(yīng)的特征映射進(jìn)行池化操作，得到所述目標(biāo)詞例對應(yīng)的向量表示。本申請?jiān)谕ㄟ^獲得目標(biāo)詞例對應(yīng)的每個(gè)子詞的向量表示后，加入類似卷積神經(jīng)網(wǎng)絡(luò)的操作，最終獲得目標(biāo)詞例對應(yīng)的向量表示，從而將子詞與詞例對應(yīng)起來，形成詞例層級的向量表示，增強(qiáng)了詞向量模型對詞例的文本信息的提取能力。

技術(shù)領(lǐng)域

本申請涉及自然語言處理技術(shù)領(lǐng)域，特別涉及一種詞向量表示方法、裝置、計(jì)算設(shè)備及計(jì)算機(jī)可讀存儲介質(zhì)。

背景技術(shù)

對于自然語言處理任務(wù)來說，通常采用BERT模型的注意力機(jī)制提取文本信息，最終輸出所有子詞的向量表示。實(shí)際應(yīng)用時(shí)在BERT模型后拼接針對不同下游任務(wù)的神經(jīng)網(wǎng)絡(luò)層，通過設(shè)置不同的損失函數(shù)對整個(gè)的網(wǎng)絡(luò)進(jìn)行微調(diào)(fine-tuning)，生成適用于具體任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)。在BERT模型中解決詞庫覆蓋度不全的問題過程中，引入了子詞的概念，通常最后一層輸出向量表示后未整合到詞例層級上，同時(shí)由于下游任務(wù)一般是以詞例為最小處理單位的，因此如何將子詞與詞例對應(yīng)起來，最終得到詞例的向量表示成為了亟待解決的問題。

發(fā)明內(nèi)容

有鑒于此，本申請實(shí)施例提供了一種詞向量表示方法、裝置、計(jì)算設(shè)備及計(jì)算機(jī)可讀存儲介質(zhì)，以解決現(xiàn)有技術(shù)中存在的技術(shù)缺陷。

根據(jù)本說明書實(shí)施例的第一方面，提供了一種詞向量表示方法，包括：

獲取目標(biāo)詞例對應(yīng)的每個(gè)子詞的向量表示的子詞集合，其中，所述子詞集合包括所述目標(biāo)詞例對應(yīng)的每個(gè)子詞的向量表示；

將所述目標(biāo)詞例對應(yīng)的子詞集合劃分為至少一個(gè)子詞序列，其中，在每個(gè)所述子詞序列中均包括至少一個(gè)子詞的向量表示；

對至少一個(gè)所述子詞序列進(jìn)行特征提取，得到每個(gè)所述子詞序列對應(yīng)的特征映射；

對每個(gè)所述子詞序列對應(yīng)的特征映射進(jìn)行池化操作，得到所述目標(biāo)詞例對應(yīng)的向量表示。

根據(jù)本說明書實(shí)施例的第二方面，提供了一種詞向量表示裝置，包括：

向量表示模塊，被配置為獲取目標(biāo)詞例對應(yīng)的每個(gè)子詞的向量表示的子詞集合，其中，所述子詞集合包括所述目標(biāo)詞例對應(yīng)的每個(gè)子詞的向量表示；

子詞劃分模塊，被配置為將所述目標(biāo)詞例對應(yīng)的子詞集合劃分為至少一個(gè)子詞序列，其中，在每個(gè)所述子詞序列中均包括至少一個(gè)子詞的向量表示；

卷積模塊，被配置為對至少一個(gè)所述子詞序列進(jìn)行特征提取，得到每個(gè)所述子詞序列對應(yīng)的特征映射；

池化模塊，被配置為對每個(gè)所述子詞序列對應(yīng)的特征映射進(jìn)行池化操作，得到所述目標(biāo)詞例對應(yīng)的向量表示。

根據(jù)本說明書實(shí)施例的第三方面，提供了一種計(jì)算設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)指令，所述處理器執(zhí)行所述指令時(shí)實(shí)現(xiàn)所述詞向量表示方法的步驟。

根據(jù)本說明書實(shí)施例的第四方面，提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，其存儲有計(jì)算機(jī)指令，該指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述詞向量表示方法的步驟。

本申請?jiān)谕ㄟ^詞向量模型獲得目標(biāo)詞例對應(yīng)的每個(gè)子詞的向量表示后，加入類似卷積神經(jīng)網(wǎng)絡(luò)的操作，即使用預(yù)設(shè)的過濾器作為滑動(dòng)窗口將目標(biāo)詞例對應(yīng)的子詞集合劃分為若干個(gè)子詞序列，并對每個(gè)子詞序列進(jìn)行特征提取，然后對每個(gè)子詞序列對應(yīng)的特征映射進(jìn)行池化操作，最終獲得目標(biāo)詞例對應(yīng)的向量表示，從而將子詞與詞例對應(yīng)起來，形成詞例層級的向量表示，增強(qiáng)了詞向量模型對詞例的文本信息的提取能力，方便了下游自然語言處理任務(wù)的使用和微調(diào)。

附圖說明