[發(fā)明專利]一種基于領(lǐng)域適應(yīng)的少樣本實(shí)體識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110266908.7
• 申請(qǐng)日: 2021-03-11
• 公開（公告）號(hào): CN112925886B
• 公開（公告）日: 2022-01-04
• 發(fā)明（設(shè)計(jì)）人: 韓瑞峰;楊紅飛;金霞
• 申請(qǐng)（專利權(quán)）人: 杭州費(fèi)爾斯通科技有限公司
• 主分類號(hào): G06F16/33
• 分類號(hào): G06F16/33;G06F16/35;G06F40/211;G06F40/295;G16H10/60
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 劉靜

本發(fā)明公開了一種基于領(lǐng)域適應(yīng)的少樣本實(shí)體識(shí)別方法，該方法首先選取支點(diǎn)特征，將源領(lǐng)域和目標(biāo)領(lǐng)域出現(xiàn)頻次均最高的詞組作為支點(diǎn)特征詞，將支點(diǎn)特征實(shí)例化，形成支點(diǎn)特征集。然后建立訓(xùn)練數(shù)據(jù)集，訓(xùn)練支點(diǎn)特征分類器，全部支點(diǎn)特征構(gòu)成系數(shù)矩陣，表示非支點(diǎn)特征詞與支點(diǎn)特征詞的相關(guān)性。在源領(lǐng)域上訓(xùn)練實(shí)體識(shí)別模型，最后在目標(biāo)領(lǐng)域上進(jìn)行實(shí)體識(shí)別，用訓(xùn)練好的模型在目標(biāo)領(lǐng)域上進(jìn)行預(yù)測(cè)，對(duì)目標(biāo)領(lǐng)域中每個(gè)非支點(diǎn)特征詞，用最相關(guān)并且同時(shí)滿足相關(guān)性大于一定閾值的源領(lǐng)域中的非支點(diǎn)特征詞替換。本發(fā)明利用領(lǐng)域間共同的支點(diǎn)特征詞得到領(lǐng)域間不同的非支點(diǎn)特征之間的對(duì)應(yīng)關(guān)系，從而達(dá)到領(lǐng)域間特征詞映射的目的。

技術(shù)領(lǐng)域

本發(fā)明涉及實(shí)體識(shí)別領(lǐng)域，尤其涉及一種基于領(lǐng)域適應(yīng)的少樣本實(shí)體識(shí)別方法。

背景技術(shù)

在文本信息抽取的應(yīng)用場(chǎng)景中，場(chǎng)景多樣、細(xì)化，缺少標(biāo)注樣本，標(biāo)注樣本獲取成本高是工業(yè)應(yīng)用上面臨的現(xiàn)狀，目前的技術(shù)針對(duì)少量標(biāo)注樣本的場(chǎng)景還沒有成熟的方案，面對(duì)這樣的現(xiàn)狀，能否巧妙地利用現(xiàn)有標(biāo)注資源，將模型學(xué)習(xí)到的知識(shí)遷移到少量樣本場(chǎng)景下，是一個(gè)熱門的研究方向。

目前的文本信息抽取方法中，基于模型訓(xùn)練的方法需要大量的標(biāo)注樣本，雖然有一些深度模型呈現(xiàn)準(zhǔn)確度越來越高，需要的標(biāo)注樣本量越來越少的趨勢(shì)，但仍然需要一定量的標(biāo)注樣本才能訓(xùn)練得到可用的模型，在獲得樣本前，無法開展工作，這樣的過程相當(dāng)于將開發(fā)成本轉(zhuǎn)嫁到樣本的標(biāo)注上，整體開發(fā)效率仍然低下。

本發(fā)明用于實(shí)體抽取，利用相近領(lǐng)域的大量標(biāo)注資源，在目標(biāo)領(lǐng)域上不需要標(biāo)注樣本就可得到準(zhǔn)確率較高的抽取模型。

發(fā)明內(nèi)容

本發(fā)明目的在于針對(duì)現(xiàn)有技術(shù)的不足，提出一種基于領(lǐng)域適應(yīng)的少樣本實(shí)體識(shí)別方法，本發(fā)明用不同領(lǐng)域的語料之間的相同特征作為支點(diǎn)特征，建立領(lǐng)域間特征的映射，使得在具有大量標(biāo)簽的源領(lǐng)域上訓(xùn)練的模型能夠在沒有標(biāo)簽的目標(biāo)領(lǐng)域上同樣表現(xiàn)出良好的準(zhǔn)確率，將其應(yīng)用在實(shí)體識(shí)別任務(wù)上，在相似領(lǐng)域間的遷移學(xué)習(xí)中，能夠得到無標(biāo)簽?zāi)繕?biāo)領(lǐng)域?qū)嶓w識(shí)別較高的準(zhǔn)確率。

本發(fā)明的目的是通過以下技術(shù)方案來實(shí)現(xiàn)的：一種基于領(lǐng)域適應(yīng)的少樣本實(shí)體識(shí)別方法，該方法包括如下步驟：

(1)選取支點(diǎn)特征

統(tǒng)計(jì)n-gram在源領(lǐng)域和目標(biāo)領(lǐng)域的語料中出現(xiàn)的頻次，選取在兩個(gè)領(lǐng)域同時(shí)出現(xiàn)，且頻次超過閾值詞組作為支點(diǎn)特征詞，通過支點(diǎn)特征詞將模板“支點(diǎn)特征詞w在右面”、“支點(diǎn)特征詞w在左面”、“支點(diǎn)特征詞w在中間”實(shí)例化，每個(gè)實(shí)例代表一個(gè)維度的支點(diǎn)特征，形成支點(diǎn)特征集，w表示文本句子中的支點(diǎn)特征詞。

(2)建立訓(xùn)練數(shù)據(jù)集，訓(xùn)練支點(diǎn)特征分類器

將步驟(1)中的支點(diǎn)特征集作為訓(xùn)練數(shù)據(jù)集，訓(xùn)練一組預(yù)測(cè)樣本句子中是否存在支點(diǎn)特征詞的支點(diǎn)特征分類器，具體為：對(duì)每一維支點(diǎn)特征i訓(xùn)練一個(gè)邏輯回歸模型作為支點(diǎn)特征分類器，對(duì)樣本句子中的詞判斷是否存在支點(diǎn)特征，訓(xùn)練后得到邏輯回歸模型的系數(shù)w_i，w_i為一個(gè)列向量，其維度為非支點(diǎn)特征的維度數(shù)量，對(duì)全部支點(diǎn)特征構(gòu)成矩陣w＝[w₁,w₂,…,w_M]。w_M表示第M維支點(diǎn)特征，M＝3N，w_i中第j維的數(shù)值w_ij表示第j維非支點(diǎn)特征詞與第i維支點(diǎn)特征詞的相關(guān)性，w_ij為正值表示正相關(guān)。

支點(diǎn)特征分類器的樣本輸入：計(jì)算兩個(gè)領(lǐng)域全部句子的n-gram形成n-gram列表，每個(gè)句子的特征為n-gram列表中的詞是否存在于句子中的支點(diǎn)特征詞和非支點(diǎn)特征詞的二值向量，然后去掉句子中全部支點(diǎn)特征詞對(duì)應(yīng)的維度，得到句子的特征向量。