[發(fā)明專利]基于遠程監(jiān)督和提示學習的實體屬性生成方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202211474722.1
• 申請日: 2022-11-23
• 公開（公告）號: CN115878813A
• 公開（公告）日: 2023-03-31
• 發(fā)明（設(shè)計）人: 曾山松;張磊;余安東;胡佳
• 申請（專利權(quán)）人: 電信科學技術(shù)第五研究所有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F40/295;G06F16/28;G06F18/24;G06F18/214;G06N5/022;G06N20/00
• 代理公司: 北京天奇智新知識產(chǎn)權(quán)代理有限公司 11340
• 代理人: 楊春

1.基于遠程監(jiān)督和提示學習的實體屬性生成方法，其特征在于，包括：

S1、構(gòu)建知識圖譜G＝{E，R，A}，其中E為知識圖譜中各個實體的集合，R為知識圖譜中各個關(guān)系的集合，A＝{a}為知識圖譜中各個屬性組成的集合，a是一個包含屬性名a_k和屬性值a_v的二元組；

S2、利用遠程監(jiān)督方法，將知識圖譜中的實體e∈E、實體e的屬性名a_ke、及其屬性名a_ke對應(yīng)的屬性值a_ve組成的三元組(e，a_ke，a_ve)作為種子，通過實體e和屬性值a_ve到開放文檔庫D中去檢索，召回同時包含實體e和屬性值a_ve的文本集合D_e＝{d_e}；

S3、將文本集合D_e中能夠正確表達屬性類型a_ke的文本d_e標注為正例文本s_e∈S_e，定義集合C＝{(e，a_ke，a_ve，s_e)}為知識圖譜中所有種子三元組(e，a_ke，a_ve)召回的正例文本s_e組成的四元組集合；

S4、獲取待生成實體屬性的文本x；

S5、利用實體識別模型識別文本x中每個實體e，并抽取實體e的屬性名a_ke；

S6、通過f_prompt(x，e，a_ke)將文本x、實體e、屬性名a_ke轉(zhuǎn)化成提示學習任務(wù)的輸入形式x^prompt；

S7、將x^prompt作為預(yù)訓練語言模型BERT的輸入，獲得文本x中實體的屬性值。

2.根據(jù)權(quán)利要求1所述的基于遠程監(jiān)督和提示學習的實體屬性生成方法，其特征在于，f_prompt(x，e，a_ke)包括以下步驟：

1)、定義模板t表示為：

[x]；屬性抽?。骸緦嶓w】[e]-【屬性名】[a]-【答案】[z]

模板內(nèi)容t為一段由輸入槽位[x]和實體槽[e]，實體屬性槽[a_ke]，答案槽位[z]拼接而成的文本字符串，其中輸入槽[x]、實體槽[e]、實體屬性槽[a_ke]分別是基于提示學習的屬性抽取任務(wù)的輸入文本x、實體e、及其實體e需要抽取屬性的名稱a_ke的占位符，答案槽[z]是實體e需要抽取屬性的值a_ve的占位符；

2)、把輸入的文本x填充模板t輸入槽[x]的位置，實體e填充到模板t實體槽[e]，實體e需要抽取屬性的名稱a_ke填充到模板t實體屬性槽[a_ke]；

3)、返回填充后的字符串作為輸入x的提示形式。

3.根據(jù)權(quán)利要求1所述的基于遠程監(jiān)督和提示學習的實體屬性生成方法，其特征在于，在S7中包括：

S71、將x^prompt作為預(yù)訓練語言模型BERT的輸入，讓其預(yù)測x^prompt中槽位[z]填入的單詞詞匯的概率分布；

S72、取概率值最大的單詞插入槽位[z]之前，形成新的提示學習模板：

x^prompt＝insert_before(x^prompt，[z]，max_probability(v))

其中v代表文檔詞匯庫中的詞匯，max_probability(v)代表取概率最大的詞匯；insert_before函數(shù)為執(zhí)行上述插入操作以修改當前樣本；

S73、判斷生成的單詞是否是句子的結(jié)束單詞“?！?，若是則進入S74，反之，則用修改后的當前樣本返回S71；

S74、將修改后的當前樣本中的終止符合“?！眲h除，并作為實體的屬性值。

4.基于遠程監(jiān)督和提示學習的實體屬性生成系統(tǒng)，其特征在于，包括：

知識圖譜；知識圖譜中存儲實體，關(guān)系，屬性等三元組信息，

開放文檔數(shù)據(jù)庫；

提示學習模板引擎；提示學習模板引擎用于將文本輸入轉(zhuǎn)化為可以進行提示學習的文本格式，用于提示與訓練語言模型微調(diào)下游的實體屬性抽取任務(wù)；

預(yù)訓練語言模塊；預(yù)訓練語言模塊對語料進行預(yù)訓練，然后將提示學習模板引擎生成的提示學習形式文本作為樣本，微調(diào)下游的任務(wù)；

用于在線業(yè)務(wù)數(shù)據(jù)實體抽取的實體識別模塊。