[發(fā)明專利]基于LightGBM集成多個(gè)BERT模型的隨機(jī)對(duì)照試驗(yàn)識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110363597.6
• 申請(qǐng)日: 2021-04-02
• 公開(kāi)（公告）號(hào): CN112836772A
• 公開(kāi)（公告）日: 2021-05-25
• 發(fā)明（設(shè)計(jì)）人: 孫鑫;秦璇;李玲;劉佳利;王雨寧;劉艷梅;齊亞娜;鄒康;鄧可;馬玉;劉梅
• 申請(qǐng)（專利權(quán)）人: 四川大學(xué)華西醫(yī)院
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06F40/30
• 代理公司: 成都高遠(yuǎn)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 51222
• 代理人: 李安霞;謝一平

1.基于LightGBM集成多個(gè)BERT模型的隨機(jī)對(duì)照試驗(yàn)識(shí)別方法，其特征在于，包括以下步驟：

步驟s1：將預(yù)先準(zhǔn)備的初始RCT數(shù)據(jù)分割為訓(xùn)練集、開(kāi)發(fā)集以及測(cè)試集，所述初始RCT數(shù)據(jù)包括文本以及初始分類標(biāo)簽；

步驟s2：將訓(xùn)練集、開(kāi)發(fā)集以及測(cè)試集中的文本均分別轉(zhuǎn)化為位置向量、文本向量以及字向量；

步驟s3：使用訓(xùn)練集中的文本轉(zhuǎn)化后的位置向量、文本向量、字向量和初始分類標(biāo)簽分別訓(xùn)練4個(gè)BERT模型；

步驟s4：使用開(kāi)發(fā)集中的文本轉(zhuǎn)化后的位置向量、文本向量、字向量和初始分類標(biāo)簽來(lái)調(diào)整4個(gè)BERT模型的超參數(shù)；

步驟s5：使用訓(xùn)練好的4個(gè)BERT模型對(duì)訓(xùn)練集文本和開(kāi)發(fā)集文本進(jìn)行分類，分為RCT類和非RCT類；

步驟s6：訓(xùn)練LightGBM模型；

步驟s7：使用4個(gè)BERT模型對(duì)測(cè)試集數(shù)據(jù)進(jìn)行分類，得到分類結(jié)果，LightGBM模型綜合4個(gè)BERT模型的分類結(jié)果得到測(cè)試集的最終分類結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于LightGBM集成多個(gè)BERT模型的隨機(jī)對(duì)照試驗(yàn)識(shí)別方法，其特征在于：所述文本包括題目和摘要，所述初始分類標(biāo)簽包括RCT類和非RCT類。

3.根據(jù)權(quán)利要求1所述的基于LightGBM集成多個(gè)BERT模型的隨機(jī)對(duì)照試驗(yàn)識(shí)別方法，其特征在于：

在步驟s1中，所述分割包括以下步驟：

步驟s101：將初始RCT數(shù)據(jù)均分為5份不相交的數(shù)據(jù)集；

步驟s102：依次選擇s101中的5份的其中1份作為測(cè)試集，將其余4份作為訓(xùn)練數(shù)據(jù)，由此得到5組數(shù)據(jù)，每組數(shù)據(jù)中，包含1個(gè)訓(xùn)練數(shù)據(jù)和1個(gè)測(cè)試集，測(cè)試集與訓(xùn)練數(shù)據(jù)的樣本數(shù)比例為1:4；

步驟s103： 針對(duì)5組數(shù)據(jù)，將每一組中的訓(xùn)練數(shù)據(jù)以3:1的比例隨機(jī)分為訓(xùn)練集和開(kāi)發(fā)集，由此每組數(shù)據(jù)由一個(gè)訓(xùn)練集，一個(gè)開(kāi)發(fā)集和一個(gè)測(cè)試集組成，其中訓(xùn)練集、開(kāi)發(fā)集以及測(cè)試集包含的樣本數(shù)比例為3:1:1。

4.根據(jù)權(quán)利要求1所述的基于LightGBM集成多個(gè)BERT模型的隨機(jī)對(duì)照試驗(yàn)識(shí)別方法，其特征在于：所述4個(gè)BERT模型分別為BIO-BBUPC、BIO-BBUP、SCI-BBU以及BBU，所述4個(gè)BERT模型作為基分類器。

5.根據(jù)權(quán)利要求1所述的基于LightGBM集成多個(gè)BERT模型的隨機(jī)對(duì)照試驗(yàn)識(shí)別方法，其特征在于：在步驟s5中，訓(xùn)練集中的每一個(gè)文本和開(kāi)發(fā)集中的每一個(gè)文本經(jīng)過(guò)一個(gè)BERT模型分類均得到一個(gè)2維向量作為分類結(jié)果，訓(xùn)練集的一個(gè)文本和開(kāi)發(fā)集的一個(gè)文本經(jīng)過(guò)4個(gè)BERT模型的分類均得到一個(gè)8維向量。

6.根據(jù)權(quán)利要求5所述的基于LightGBM集成多個(gè)BERT模型的隨機(jī)對(duì)照試驗(yàn)識(shí)別方法，其特征在于：在步驟s6中，使用訓(xùn)練集文本和開(kāi)發(fā)集文本轉(zhuǎn)化后的8維向量數(shù)據(jù)和訓(xùn)練集初始分類標(biāo)簽來(lái)訓(xùn)練LightGBM模型，并采用五折交叉驗(yàn)證，逐步調(diào)整LightGBM模型超參數(shù)。