[發明專利]一種基于關系型圖卷積網絡的小樣本細粒度實體分類方法

有效

• 申請號: 202110346254.9
• 申請日: 2021-03-31
• 公開（公告）號: CN113051399B
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 魯偉明;陳晨;莊越挺
• 申請（專利權）人: 浙江大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/126;G06F40/295;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 劉靜

1.一種基于關系型圖卷積網絡的小樣本細粒度實體分類方法，其特征在于，包括以下步驟：

1)劃分數據集：在每一個訓練批次前，將包含大規模標注樣本的數據集劃分為與小樣本同規模的支持集，并構建查詢集和訓練集；

2)擴充支持集：利用數據增強自動對小樣本類別數據進行擴充；

3)實體表示：對句子中的實體采用“實體-上下文編碼器”進行編碼，其中對實體采用平均編碼器，對上下文采用Bi-LSTM編碼，并使用對抗訓練加強小樣本實體分類模型魯棒性；

4)類別表示：構建可感知小樣本的類別共現圖，并利用關系型圖卷積網絡得到類別表示；具體為：

將類別共現圖作為神經網絡的輸入，使用關系型圖卷積算法進行卷積操作，對每一個類別的節點整合其鄰居節點的信息，從而提取圖結構的空間特征；關系型圖卷積操作可以表示如下：

其中，表示第l層卷積操作時的通用權重矩陣參數，表示節點i在第l層的隱層向量，R＝{r_frq2frq,r_frq2few,r_few2few}是三種類型的邊的集合，r_frq2frq表示e_frq2frq邊的關系，r_frq2few表示e_frq2few邊的關系，r_few2few表示e_few2few邊的關系，表示節點i在關系r∈R下的所有鄰居節點集合，表示第l層卷積操作時，關于關系類型r的權重矩陣參數，A_ij表示節點i與節點j之間的邊的權重；σ表示激活函數；

在經過L層卷積操作之后，可以得到整合了鄰居節點信息的小樣本類別節點和頻繁樣本類別節點的隱層向量，即類別t_k的表達為：并將該表示定義為f_ψ(t_k)，其中ψ為類別表示中的參數；

5)以元學習方式訓練模型，獲得小樣本分類器：根據匹配得分為實體分配合適的類別，通過基于episode的訓練方式，在步驟1)中構建的訓練集、支持集和查詢集上訓練，計算梯度并在每次訓練迭代中更新模型；

6)小樣本實體分類：將包含小樣本類別的支持集和包含頻繁樣本類別的訓練集一起傳入步驟5)得到的分類器對模型參數進行微調，再將待分類的查詢集輸入分類器，分類器將輸出實體匹配的小樣本類別。

2.根據權利要求1所述的一種基于關系型圖卷積網絡的小樣本細粒度實體分類方法，其特征在于，所述步驟1)具體為：

為每個episode劃分數據集；假定最終待分類的小樣本類別有C個，每類僅提供K個實例，則將包含大規模標注樣本的數據集劃分為同規模的支持集，并依次構建查詢集和訓練集；具體為：從數據集的類別中隨機選擇C個類別，將C個類別定義為T_support，并從中為每個類別隨機選擇K個樣本，從而構建支持集令數據集中所有樣本類別屬于以上C個類的樣本集合為X，從的集合里隨機選擇R個樣例作為測試樣本，構成查詢集將原數據集內的樣本集合X剔除，作為更新后的訓練集其中訓練集內的類別集合定義為T_train。

3.根據權利要求1所述的一種基于關系型圖卷積網絡的小樣本細粒度實體分類方法，其特征在于，所述步驟2)具體為：

自動擴充支持集；使用數據增強自動對小樣本類別的數據進行擴充，并加入到之后的實體表示學習中；將一個句子中待分類的實體提及稱作mention，該實體的上下文詞稱作token；數據增強操作具體有如下四種：a)T-REP，即token替換，將上下文詞替換為同義詞；b)T-DEL，即token刪除，應避免刪除目標實體的詞語序列中的單詞；c)T-INS，即token插入，應避免在目標實體的詞語序列中插入單詞；d)M-REP，即mention替換，將句子中的實體替換為和目標實體同樣的小樣本類別的實體；其中對于前三種數據增強操作，采用nlpaug工具輔助實現。