[發(fā)明專(zhuān)利]一種基于Attention機(jī)制的多通道的文本分類(lèi)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911191475.2
• 申請(qǐng)日: 2019-11-28
• 公開(kāi)（公告）號(hào): CN111061873B
• 公開(kāi)（公告）日: 2022-03-15
• 發(fā)明（設(shè)計(jì)）人: 劉磊;侯良文;孫應(yīng)紅;李靜
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類(lèi)號(hào): G06F16/35
• 分類(lèi)號(hào): G06F16/35;G06F40/242;G06F40/289
• 代理公司: 北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11203
• 代理人: 吳蔭芳

1.一種基于Attention機(jī)制的多通道的文本分類(lèi)方法，包括以下步驟：

步驟1文本預(yù)處理

1.1文本分詞，構(gòu)建預(yù)處理后語(yǔ)料庫(kù)；

1.2構(gòu)建詞庫(kù)，所述的詞庫(kù)由去除停用詞后且詞頻大于閾值θ的詞構(gòu)成，同時(shí)在詞庫(kù)中插入字符串“UNK”和“PAD”,其中“UNK”表示不能識(shí)別的詞，“PAD”表示為模型輸入中固定句子長(zhǎng)度需要填充的詞；

步驟2詞向量構(gòu)建

利用word2vec技術(shù)，對(duì)預(yù)處理后的語(yǔ)料進(jìn)行詞向量的訓(xùn)練，詞向量的維度設(shè)置為d，得到預(yù)訓(xùn)練詞向量表，對(duì)詞庫(kù)中的每一個(gè)詞，若該詞在預(yù)訓(xùn)練詞向量表存在，則使用表中詞向量作為該詞的詞向量，若該詞在預(yù)訓(xùn)練詞向量表中不存在，則使用正態(tài)分布隨機(jī)初始化向量作為該詞的詞向量；

步驟3模型構(gòu)建

3.1詞向量的初始化

首先對(duì)于預(yù)處理后語(yǔ)料庫(kù)中每個(gè)句子，用詞向量替換句子中的每個(gè)詞，構(gòu)建句子的詞向量表示；

然后利用預(yù)訓(xùn)練詞向量創(chuàng)建的句子詞向量嵌入矩陣A∈R^l×d，構(gòu)建第1通道，表示如下：

A＝[x₁,x₂,…,x_i,…,x_l]^T 1≤i≤l

其中x_i對(duì)應(yīng)句子中第i個(gè)詞的d維向量，l為句子的固定長(zhǎng)度；

利用均勻分布隨機(jī)初始化的詞向量創(chuàng)建的句子詞向量嵌入矩陣B∈R^l×d，構(gòu)建第2通道，表示如下：

B＝[y₁,y₂,…,y_i,…,y_l]^T 1≤i≤l

其中y_i對(duì)應(yīng)句子中第i個(gè)詞的d維向量，l為句子的固定長(zhǎng)度；

將詞向量嵌入矩陣A和B在深度方向上進(jìn)行拼接，得到句子的雙通道詞向量嵌入矩陣C∈R^2×l×d表示如下：

其中，表示兩個(gè)相同維度的二維矩陣在深度方向上的拼接符號(hào)；

3.2引入Attention層

首先在第1和第2通道上引入Attention機(jī)制，將通道上的當(dāng)前詞向量重新編碼，通道1的詞向量x_i， 1≤i≤l的上下文向量u_i表示如下：

其中α_ij為詞向量x_i對(duì)應(yīng)的權(quán)重值，l為句子固定長(zhǎng)度，α_ij＞0且權(quán)重值α_ij按照如下公式計(jì)算：

其中l(wèi)為句子固定長(zhǎng)度，score(x_i,x_j)是詞向量x_i和x_j， i≠j的相似性得分，表示如下：

然后將詞向量和其對(duì)應(yīng)的上下文向量拼接為擴(kuò)展詞向量，更新到嵌入矩陣中，其中，詞向量x_i的擴(kuò)展詞向量X_i表示如下：

其中1≤i≤l，l為句子固定長(zhǎng)度，表示向量之間的串聯(lián)拼接符號(hào)；

基于同樣方法，計(jì)算得到通道2的詞向量y_i1≤i≤l的上下文向量v_i，y_i的擴(kuò)展詞向量Y_i；

3.3文本特征抽取和類(lèi)別輸出

雙通道詞嵌入矩陣C∈R^2×l×d經(jīng)過(guò)Attention機(jī)制對(duì)詞向量的重新編碼后，更新后的嵌入矩陣變?yōu)镈∈R^2×l×2d，表示如下：

其中，∪表示向量并行拼接符號(hào)，l為句子固定長(zhǎng)度，表示兩個(gè)通道上的擴(kuò)展詞向量X_k和Y_k在空間維度上的合并；

然后使用窗口大小為h，深度為2的多個(gè)卷積核在雙通道嵌入矩陣上進(jìn)行滑動(dòng)卷積操作，得到卷積核提取的特征圖，再對(duì)特征圖進(jìn)行最大池化操作，將池化得到的主要特征展開(kāi)成特征向量ξ，以ξ作為全連接層的輸入，經(jīng)過(guò)全連接層和Softmax層得到文本所屬類(lèi)別的概率分布。

2.根據(jù)權(quán)利要求1所述的一種基于Attention機(jī)制的多通道的文本分類(lèi)方法，其特征在于：

所述步驟3.1中構(gòu)建句子的詞向量表示具體為：以詞的數(shù)目表示句子長(zhǎng)度，設(shè)置句子固定長(zhǎng)度為l，對(duì)于大于句長(zhǎng)l的句子截?cái)啵∮诰溟L(zhǎng)l的句子用“PAD”填充。