[發(fā)明專利]一種基于DRAIL的表明深度學(xué)習(xí)關(guān)系的框架

在審

• 申請?zhí)枺?/td>: 202210299435.5
• 申請日: 2022-03-25
• 公開（公告）號: CN114924713A
• 公開（公告）日: 2022-08-19
• 發(fā)明（設(shè)計）人: 王小華;潘曉光;令狐彬;董虎弟;陳亮;張雅娜
• 申請（專利權(quán)）人: 山西三友和智慧信息技術(shù)股份有限公司
• 主分類號: G06F8/20
• 分類號: G06F8/20;G06F8/30;G06N3/02
• 代理公司: 深圳科潤知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44724
• 代理人: 李小妮

本發(fā)明屬于深度學(xué)習(xí)技術(shù)領(lǐng)域，具體涉及一種基于DRAIL的表明深度學(xué)習(xí)關(guān)系的框架，包括如下步驟：數(shù)據(jù)采集：采集模型所需的數(shù)據(jù)，并對其類別進(jìn)行標(biāo)注，完成模型所需的數(shù)據(jù)集構(gòu)建；數(shù)據(jù)預(yù)處理：對數(shù)據(jù)集進(jìn)行的預(yù)處理，為后續(xù)的搜索做必要準(zhǔn)備；建模語言：從定義模板語言對DRAIL框架進(jìn)行搭建，并在給定數(shù)據(jù)的情況下實(shí)例化這些元素；DRAIL程序：用于給規(guī)則的分配分?jǐn)?shù)；驗(yàn)證框架：將DRAIL與基線方案中所涵蓋的每個類別的有代表性的模型進(jìn)行比較，驗(yàn)證其有效性和可行性。本發(fā)明通過對不同關(guān)系和豐富表示的問題進(jìn)行建模，展示了它的靈活性，并獲得了易于解釋和擴(kuò)展的模型。基于DRAIL的表明深度學(xué)習(xí)關(guān)系的框架有效解決了深度學(xué)習(xí)關(guān)系表明不清的問題。

技術(shù)領(lǐng)域

本發(fā)明屬于深度學(xué)習(xí)技術(shù)領(lǐng)域，具體涉及一種基于DRAIL的表明深度學(xué)習(xí)關(guān)系的框架。

背景技術(shù)

為真實(shí)的自然語言任務(wù)建立模型需要處理長文本，并考慮復(fù)雜的結(jié)構(gòu)依賴性。神經(jīng)符號表示作為一種將符號方法的推理能力與神經(jīng)網(wǎng)絡(luò)的表達(dá)能力相結(jié)合的方式出現(xiàn)了。然而，大多數(shù)現(xiàn)有的結(jié)合神經(jīng)和符號表示的框架都是為經(jīng)典的關(guān)系學(xué)習(xí)任務(wù)而設(shè)計的。

現(xiàn)有技術(shù)存在的問題或者缺陷：要理解現(xiàn)實(shí)環(huán)境中的自然語言交互，需要能夠處理嘈雜的文本輸入、推理不同文本元素之間的依賴關(guān)系以及利用文本內(nèi)容與上下文之間的依賴關(guān)系的模型，但是一直以來都缺乏表明其關(guān)系的框架。

發(fā)明內(nèi)容

本發(fā)明提出了能用于指定深度關(guān)系模型DRAIL框架，旨在支持各種NLP場景。本方案的框架支持與表達(dá)語言編碼器的簡單集成，并為研究表示、推理和學(xué)習(xí)之間的交互提供了接口。其主要實(shí)現(xiàn)步驟為建模語言和程序構(gòu)造兩部分組成。

為了解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案為：

一種基于DRAIL的表明深度學(xué)習(xí)關(guān)系的框架，包括下列步驟：

S1、數(shù)據(jù)采集：采集模型所需的數(shù)據(jù)，并對其類別進(jìn)行標(biāo)注，完成模型所需的數(shù)據(jù)集構(gòu)建；

S2、數(shù)據(jù)預(yù)處理：對數(shù)據(jù)集進(jìn)行的預(yù)處理，為后續(xù)的搜索做必要準(zhǔn)備；

S3、建模語言：從定義模板語言對DRAIL框架進(jìn)行搭建，并在給定數(shù)據(jù)的情況下實(shí)例化這些元素，所述模板語言由實(shí)體、關(guān)系和規(guī)則組成；

S4、數(shù)據(jù)導(dǎo)入DRAIL程序：DRAIL程序由一組規(guī)則組成，這些規(guī)則包括加權(quán)和未加權(quán)；每個加權(quán)規(guī)則模板定義了一個學(xué)習(xí)問題，用于給規(guī)則的分配分?jǐn)?shù)；

S5、驗(yàn)證框架：將DRAIL與基線方案中所涵蓋的每個類別的有代表性的模型進(jìn)行比較，驗(yàn)證其有效性和可行性。

進(jìn)一步的，S2中，數(shù)據(jù)預(yù)處理采取特征標(biāo)準(zhǔn)化，所述特征標(biāo)準(zhǔn)化：使數(shù)據(jù)集中所有特征都具有零均值和單位方差。

進(jìn)一步的，S3中，所述實(shí)體被命名為符號或?qū)傩栽兀鰧?shí)體包括：象征性實(shí)體、帶有屬性實(shí)體；所述象征性實(shí)體是政治意識形態(tài)，所述帶有屬性實(shí)體為是帶有年齡、性別和其他概要信息的用戶，或者與文本內(nèi)容相關(guān)聯(lián)的文檔；

所述關(guān)系定義在實(shí)體及其屬性或其他實(shí)體之間，關(guān)系使用唯一標(biāo)識符、命名謂詞和一組類型化參數(shù)定義。原子由一個謂詞名和一組實(shí)體組成，與關(guān)系的參數(shù)列表的類型和性質(zhì)一致；

所述規(guī)則是將字面量映射到其他字面量的函數(shù)，在DRAIL中的規(guī)則是使用格式化模板定義的即:t_LH＝t_RH，其中t_LH字面量的連詞，t_RH是要預(yù)測的輸出字面量，并且只能是開放關(guān)系的一個實(shí)例。