[發(fā)明專利]預(yù)訓(xùn)練語(yǔ)言模型的訓(xùn)練方法、應(yīng)用方法、裝置及設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202110450286.3
• 申請(qǐng)日: 2021-04-25
• 公開(kāi)（公告）號(hào): CN113158653B
• 公開(kāi)（公告）日: 2021-09-07
• 發(fā)明（設(shè)計(jì)）人: 康祎楠;董龍飛
• 申請(qǐng)（專利權(quán)）人: 北京智源人工智能研究院
• 主分類號(hào): G06F40/247
• 分類號(hào): G06F40/247;G06F40/289;G06F16/28;G06F16/36
• 代理公司: 北京辰權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11619
• 代理人: 尹倩倩

本申請(qǐng)?zhí)岢鲆环N預(yù)訓(xùn)練語(yǔ)言模型的訓(xùn)練方法、應(yīng)用方法、裝置及設(shè)備，該方法包括：獲取包括安全信息文本的訓(xùn)練樣本集；在預(yù)設(shè)安全知識(shí)圖譜中檢索安全信息文本對(duì)應(yīng)的安全擴(kuò)展信息，將安全擴(kuò)展信息添加到安全信息文本中；根據(jù)STIX情報(bào)庫(kù)，通過(guò)預(yù)訓(xùn)練語(yǔ)言模型對(duì)安全信息文本進(jìn)行詞嵌入訓(xùn)練，詞嵌入包括實(shí)體類別和關(guān)系類別的嵌入。本申請(qǐng)基于預(yù)設(shè)安全知識(shí)圖譜擴(kuò)充安全信息文本。在預(yù)訓(xùn)練語(yǔ)言模型的結(jié)構(gòu)中增加類別嵌入層，通過(guò)類別嵌入層標(biāo)記安全信息文本中的實(shí)體類別和關(guān)系類別，過(guò)濾掉與安全信息不相關(guān)的信息，提高模型準(zhǔn)確率。在位置編碼時(shí)為安全擴(kuò)展信息與其對(duì)應(yīng)的原始詞設(shè)置相同的位置標(biāo)記，使模型能更好地對(duì)真實(shí)安全事件進(jìn)行語(yǔ)義建模。

技術(shù)領(lǐng)域

本申請(qǐng)屬于信息安全技術(shù)領(lǐng)域，具體涉及一種預(yù)訓(xùn)練語(yǔ)言模型的訓(xùn)練方法、應(yīng)用方法、裝置及設(shè)備。

背景技術(shù)

隨著大數(shù)據(jù)時(shí)代的發(fā)展和網(wǎng)絡(luò)安全環(huán)境的日趨復(fù)雜，出現(xiàn)了大量與網(wǎng)絡(luò)安全相關(guān)的安全信息，如網(wǎng)絡(luò)告警信息、網(wǎng)絡(luò)監(jiān)測(cè)日志、安全事件報(bào)告、安全社區(qū)博客等。抽取安全信息中的實(shí)體及實(shí)體間的關(guān)系，對(duì)于維護(hù)網(wǎng)絡(luò)安全抵御風(fēng)險(xiǎn)具有重要意義。

相關(guān)技術(shù)中，通過(guò)人工處理海量的安全信息，抽取安全信息中的實(shí)體和關(guān)系，效率低下，耗費(fèi)了大量人力物力。因此如何從繁雜瑣碎的安全信息中自動(dòng)提取出實(shí)體和關(guān)系成為一種巨大的挑戰(zhàn)。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)岢鲆环N預(yù)訓(xùn)練語(yǔ)言模型的訓(xùn)練方法、應(yīng)用方法、裝置及設(shè)備，基于預(yù)設(shè)安全知識(shí)圖譜擴(kuò)充安全信息文本。根據(jù)STIX情報(bào)庫(kù)，通過(guò)預(yù)訓(xùn)練語(yǔ)言模型對(duì)安全信息文本進(jìn)行包括實(shí)體類別和關(guān)系類別的詞嵌入，過(guò)濾掉與安全信息不相關(guān)的信息，提高模型準(zhǔn)確率。

本申請(qǐng)第一方面實(shí)施例提出了一種預(yù)訓(xùn)練語(yǔ)言模型的訓(xùn)練方法，包括：

獲取訓(xùn)練樣本集，所述訓(xùn)練樣本集包括安全信息文本；

在預(yù)設(shè)安全知識(shí)圖譜中檢索所述安全信息文本對(duì)應(yīng)的安全擴(kuò)展信息，將所述安全擴(kuò)展信息添加到所述安全信息文本中；

根據(jù)結(jié)構(gòu)化威脅信息表達(dá)式STIX情報(bào)庫(kù)，通過(guò)預(yù)訓(xùn)練語(yǔ)言模型對(duì)添加操作后的所述安全信息文本進(jìn)行詞嵌入訓(xùn)練，所述詞嵌入包括實(shí)體類別和關(guān)系類別的嵌入。

在本申請(qǐng)的一些實(shí)施例中，所述在預(yù)設(shè)安全知識(shí)圖譜中檢索所述安全信息文本對(duì)應(yīng)的安全擴(kuò)展信息，將所述安全擴(kuò)展信息添加到所述安全信息文本中，包括：

對(duì)所述安全信息文本進(jìn)行分詞；

根據(jù)所述安全信息文本中包括的每個(gè)詞，分別檢索預(yù)設(shè)安全知識(shí)圖譜中是否包括每個(gè)詞對(duì)應(yīng)的安全擴(kuò)展信息；

若檢索到所述安全信息文本中的詞對(duì)應(yīng)的安全擴(kuò)展信息，則在所述安全信息文本中該詞對(duì)應(yīng)的預(yù)設(shè)相對(duì)位置處添加所述安全擴(kuò)展信息。

在本申請(qǐng)的一些實(shí)施例中，所述根據(jù)結(jié)構(gòu)化威脅信息表達(dá)式STIX情報(bào)庫(kù)，通過(guò)預(yù)訓(xùn)練語(yǔ)言模型對(duì)添加操作后的所述安全信息文本進(jìn)行詞嵌入訓(xùn)練，包括：

通過(guò)預(yù)訓(xùn)練語(yǔ)言模型包括的標(biāo)記嵌入層將添加操作后的所述安全信息文本中的每個(gè)詞轉(zhuǎn)換成詞向量，并在句首和句尾分別嵌入預(yù)設(shè)句首標(biāo)記和預(yù)設(shè)句尾標(biāo)記，得到所述安全信息文本對(duì)應(yīng)的詞向量矩陣；

通過(guò)所述預(yù)訓(xùn)練語(yǔ)言模型包括的句子嵌入層將所述詞向量矩陣中屬于不同句子的詞向量分別用不同的句子標(biāo)記進(jìn)行嵌入；

通過(guò)所述預(yù)訓(xùn)練語(yǔ)言模型包括的位置嵌入層在所述詞向量矩陣中添加每個(gè)詞向量的位置編碼，屬于所述安全擴(kuò)展信息的詞向量的位置編碼與所述安全擴(kuò)展信息對(duì)應(yīng)的原始詞的位置編碼相同；

根據(jù)STIX情報(bào)庫(kù)，通過(guò)所述預(yù)訓(xùn)練語(yǔ)言模型包括的類別嵌入層在所述詞向量矩陣中添加每個(gè)詞向量對(duì)應(yīng)的類別標(biāo)記；

根據(jù)最終得到的所述詞向量矩陣，通過(guò)所述預(yù)訓(xùn)練語(yǔ)言模型包括的注意力機(jī)制確定所述詞向量矩陣對(duì)應(yīng)的注意力權(quán)重矩陣。