[發(fā)明專利]基于transformer的針對(duì)隱私文本的自動(dòng)檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110471707.0
• 申請(qǐng)日: 2021-04-29
• 公開(kāi)（公告）號(hào): CN113282748B
• 公開(kāi)（公告）日: 2023-05-12
• 發(fā)明（設(shè)計(jì)）人: 劉新;黃浩鈺;馬中昊;李廣;張遠(yuǎn)明
• 申請(qǐng)（專利權(quán)）人: 湘潭大學(xué)
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06F40/30;G06F40/205;G06N3/0464;G06N3/047
• 代理公司: 北京和聯(lián)順知識(shí)產(chǎn)權(quán)代理有限公司 11621
• 代理人: 鄧葉

1.一種基于Transformer的針對(duì)Android應(yīng)用程序的隱私文本的自動(dòng)檢測(cè)方法，其特征在于，包括以下步驟：

S1，輸入《隱私政策》初始文本，對(duì)其進(jìn)行斷句并通過(guò)語(yǔ)義完整性分析模塊轉(zhuǎn)化為帶有語(yǔ)義的嵌入矩陣；

S2，輸入《信息安全技術(shù)個(gè)人信息安全規(guī)范》內(nèi)的標(biāo)準(zhǔn)文本，將標(biāo)準(zhǔn)文本的標(biāo)準(zhǔn)句表示為嵌入矩陣；將《隱私政策》的嵌入矩陣與《信息安全技術(shù)個(gè)人信息安全規(guī)范》的嵌入矩陣進(jìn)行交互；

S3，將交互后得到的語(yǔ)義向量與標(biāo)準(zhǔn)句的嵌入矩陣拼接，通過(guò)神經(jīng)網(wǎng)絡(luò)訓(xùn)練，對(duì)其進(jìn)行分類并預(yù)測(cè)結(jié)果；

步驟S2具體包括：

基于Transformer的自注意力機(jī)制改進(jìn)的8頭互注意力機(jī)制形成的交互層進(jìn)行《隱私政策》的嵌入矩陣與《信息安全技術(shù)個(gè)人信息安全規(guī)范》的嵌入矩陣的交互；

矩陣A記為《隱私政策》的大小為m*768的嵌入矩陣，矩陣B記為《信息安全技術(shù)個(gè)人信息安全規(guī)范》的大小為1*768的嵌入矩陣，計(jì)算出Q_i＝BW_i^Q、K_i＝AW_i^K、V_i＝AW_i^V，其中，W_i^Q、W_i^K、W_i^V均為大小為768*64的矩陣，計(jì)算出Q_i的為大小為1*64的向量，K_i、V_i均為大小為m*64的矩陣，m表示《隱私政策》分句的數(shù)量，W_i^Q指的是W矩陣的第i個(gè)維度，是一個(gè)向量，W_i^K、W_i^V同理，W是隨機(jī)分布的值為很小的權(quán)重矩陣；i為第i頭互注意力機(jī)制；

再通過(guò)進(jìn)行相似度計(jì)算的注意力機(jī)制，除以一個(gè)K的維度，計(jì)算公式如下：

式中；d_k表示K的維度；

接下來(lái)將A和B輸入到互注意力機(jī)制中，重復(fù)以上步驟8次，計(jì)算出Z₁...Z₈，每一個(gè)向量大小均為1*64，再將所得的向量橫向拼接并乘上一個(gè)大小為512*768的權(quán)重矩陣W⁰，交互后得到語(yǔ)義向量記Z_1*768。

2.根據(jù)權(quán)利要求1所述的基于Transformer的針對(duì)Android應(yīng)用程序的隱私文本的自動(dòng)檢測(cè)方法，其特征在于，所述S1過(guò)程中，利用BERT模型結(jié)合按條分句對(duì)《隱私政策》內(nèi)的文檔進(jìn)行層級(jí)表示，先將詞組成句，再將句組成嵌入矩陣。

3.根據(jù)權(quán)利要求1所述的基于Transformer的針對(duì)Android應(yīng)用程序的隱私文本的自動(dòng)檢測(cè)方法，其特征在于，所述S1過(guò)程中，利用Transformer的Encoder部分作為特征提取器，提取句中的語(yǔ)義、語(yǔ)法特征，確保帶有上下文的語(yǔ)義。