[發(fā)明專(zhuān)利]跨語(yǔ)言知識(shí)單元遷移方法、裝置、存儲(chǔ)介質(zhì)及終端

在審

• 申請(qǐng)?zhí)枺?/td>: 202110693347.9
• 申請(qǐng)日: 2021-06-22
• 公開(kāi)（公告）號(hào): CN113590578A
• 公開(kāi)（公告）日: 2021-11-02
• 發(fā)明（設(shè)計(jì)）人: 吳旭;吳京宸;頡夏青;管子鍵;邱莉榕;楊金翠;孫利娟;張勇東
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京郵電大學(xué)
• 主分類(lèi)號(hào): G06F16/21
• 分類(lèi)號(hào): G06F16/21;G06F16/28;G06F16/36;G06F16/35
• 代理公司: 北京辰權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11619
• 代理人: 李小朋

本發(fā)明公開(kāi)了一種跨語(yǔ)言知識(shí)單元遷移方法，包括：獲取兩種不同語(yǔ)言各自的知識(shí)圖譜，并獲取兩種不同語(yǔ)言對(duì)應(yīng)的跨語(yǔ)言知識(shí)對(duì)齊種子庫(kù)；針對(duì)知識(shí)圖譜中不同語(yǔ)義層次的知識(shí)單元建模后得到第一建模結(jié)果；針對(duì)知識(shí)圖譜中同一語(yǔ)義層次的知識(shí)單元建模后得到第二建模結(jié)果；將第一建模結(jié)果與第二建模結(jié)果拼接后，生成拼接結(jié)果；根據(jù)拼接結(jié)果以及跨語(yǔ)言知識(shí)對(duì)齊種子庫(kù)，并通過(guò)對(duì)齊模型的損失函數(shù)將知識(shí)單元各自的向量空間進(jìn)行線性轉(zhuǎn)換，生成轉(zhuǎn)換后的知識(shí)單元；計(jì)算轉(zhuǎn)換后的知識(shí)單元的距離和置信度進(jìn)行跨語(yǔ)言知識(shí)單元遷移。因此，由于本申請(qǐng)通過(guò)對(duì)知識(shí)單元的語(yǔ)義層次進(jìn)行建模，并對(duì)不同語(yǔ)言的向量空間進(jìn)行線性轉(zhuǎn)換，從而可以實(shí)現(xiàn)跨語(yǔ)言知識(shí)單元的遷移。

技術(shù)領(lǐng)域

本發(fā)明涉及自然語(yǔ)言處理技術(shù)領(lǐng)域，特別涉及一種跨語(yǔ)言知識(shí)單元遷移方法、裝置、存儲(chǔ)介質(zhì)及終端。

背景技術(shù)

伴隨互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)信息量爆炸式增長(zhǎng)，數(shù)據(jù)冗雜，規(guī)模龐大，為解決這一系列問(wèn)題，旨在描述現(xiàn)實(shí)世界中存在的實(shí)體以及實(shí)體之間關(guān)系的知識(shí)圖譜技術(shù)孕育而生。為了獲得更加完善的知識(shí)圖譜，可以采用將多個(gè)不同語(yǔ)言知識(shí)庫(kù)融合的方法，得到一個(gè)包含更多信息和實(shí)體的多語(yǔ)言的知識(shí)圖譜。在這種知識(shí)圖譜中存在一些已知的跨語(yǔ)言鏈接，將多種語(yǔ)言指向的同一實(shí)體連接起來(lái)，即實(shí)體對(duì)齊。例如在中文知識(shí)圖譜中有一個(gè)實(shí)體“海上鋼琴師”，英文知識(shí)圖譜中有一個(gè)實(shí)體“TheLegendof1900”，如果僅是通過(guò)英漢翻譯，他們得到的意思并不相同，但這兩個(gè)知識(shí)單元實(shí)際都是指向的同一個(gè)電影，即他們是等同的知識(shí)單元。但是這些跨語(yǔ)言鏈接并不是大量存在于知識(shí)圖譜中，仍然有許多不同語(yǔ)言的知識(shí)單元對(duì)之間并沒(méi)有這樣的鏈接。因此現(xiàn)在有大量工作在于研究多語(yǔ)言之間知識(shí)單元遷移問(wèn)題，旨在找到更優(yōu)的跨語(yǔ)言知識(shí)圖譜知識(shí)單元遷移方法。

不同語(yǔ)種知識(shí)在互聯(lián)網(wǎng)中深度融合，形成的多語(yǔ)言知識(shí)庫(kù)一方面彌補(bǔ)了單語(yǔ)言知識(shí)圖譜知識(shí)不完備的問(wèn)題，另一方面又為不同語(yǔ)言的知識(shí)重疊和知識(shí)互補(bǔ)研究帶來(lái)了新的挑戰(zhàn)。因此將遷移學(xué)習(xí)的思想就利用到跨語(yǔ)言知識(shí)圖譜研究中，其核心思想是利用已知的跨語(yǔ)言對(duì)齊語(yǔ)料，基于語(yǔ)義特征表示和跨語(yǔ)言遷移模型來(lái)實(shí)現(xiàn)從一種語(yǔ)言到另一種語(yǔ)言的遷移學(xué)習(xí)，構(gòu)建出語(yǔ)義豐富的跨語(yǔ)言知識(shí)圖譜(Cross-lingual Knowledge Graphs)。跨語(yǔ)言知識(shí)圖譜作為大數(shù)據(jù)時(shí)代的知識(shí)引擎，能夠提升數(shù)據(jù)獲取速率，降低知識(shí)應(yīng)用門(mén)檻，提高知識(shí)利用效率，更好地服務(wù)于人工智能的各個(gè)領(lǐng)域。跨語(yǔ)言知識(shí)圖譜存儲(chǔ)兩方面的知識(shí)：一是單語(yǔ)知識(shí)(Monolingual Knowledge)，以三元組形式記錄的實(shí)體、關(guān)系、描述信息等，二是跨語(yǔ)言知識(shí)關(guān)聯(lián)(Cross-lingual Knowledge Association)，用于匹配人類(lèi)語(yǔ)言中的單一語(yǔ)言知識(shí)。而對(duì)跨語(yǔ)言領(lǐng)域知識(shí)的遷移更有助于多語(yǔ)言者工作學(xué)習(xí)和網(wǎng)絡(luò)空間的內(nèi)容治理。

近年來(lái)，基于嵌入的技術(shù)越來(lái)越收到研究者的關(guān)注，受詞嵌入的啟發(fā)，知識(shí)圖譜嵌入是將實(shí)體、屬性和關(guān)系等編碼到一個(gè)低維的空間中，表示為向量(或矩陣、張量)，通過(guò)嵌入之間轉(zhuǎn)換關(guān)系的有效計(jì)算，完成對(duì)知識(shí)遷移。雖然基于嵌入的技術(shù)可以幫助提高單語(yǔ)知識(shí)的完整性，但對(duì)于跨語(yǔ)言知識(shí)在很大程度上還未被深度探索，匹配同一實(shí)體的語(yǔ)際鏈接(Inter-Lingual Links,ILLs)和表示相同關(guān)系的三元組對(duì)齊(Triple-Wise Alignment,TWA)問(wèn)題，都對(duì)解決多語(yǔ)言知識(shí)庫(kù)的知識(shí)融合和獨(dú)立演化問(wèn)題有著巨大幫助，因此，不少研究者投身于跨語(yǔ)言知識(shí)的遷移學(xué)習(xí)中。找到一種通用且易于掌握的技術(shù)來(lái)實(shí)現(xiàn)跨語(yǔ)言知識(shí)遷移是十分必要的，由于以下幾個(gè)原因，使得這種語(yǔ)際知識(shí)轉(zhuǎn)換比單語(yǔ)實(shí)體鏈接更加困難：(1)各語(yǔ)言表達(dá)習(xí)慣和書(shū)寫(xiě)方式的不同；(2)各語(yǔ)言實(shí)體含義范圍不盡相同；(3)跨語(yǔ)言已知對(duì)齊知識(shí)只占知識(shí)庫(kù)的一小部分。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了一種跨語(yǔ)言知識(shí)單元遷移方法、裝置、存儲(chǔ)介質(zhì)及終端。為了對(duì)披露的實(shí)施例的一些方面有一個(gè)基本的理解，下面給出了簡(jiǎn)單的概括。該概括部分不是泛泛評(píng)述，也不是要確定關(guān)鍵/重要組成元素或描繪這些實(shí)施例的保護(hù)范圍。其唯一目的是用簡(jiǎn)單的形式呈現(xiàn)一些概念，以此作為后面的詳細(xì)說(shuō)明的序言。

第一方面，本申請(qǐng)實(shí)施例提供了一種跨語(yǔ)言知識(shí)單元遷移方法，方法包括：