[發(fā)明專利]一種基于范圍卷積神經(jīng)網(wǎng)絡(luò)的文本分類方法

在審

• 申請?zhí)枺?/td>: 201911153950.7
• 申請日: 2019-11-22
• 公開（公告）號: CN110888996A
• 公開（公告）日: 2020-03-17
• 發(fā)明（設(shè)計）人: 王佳英;單菁;許景科;李雅欣;邵明陽
• 申請（專利權(quán)）人: 沈陽建筑大學
• 主分類號: G06F16/45
• 分類號: G06F16/45;G06N3/04
• 代理公司: 重慶市信立達專利代理事務(wù)所(普通合伙) 50230
• 代理人: 陳炳萍

1.一種基于范圍卷積神經(jīng)網(wǎng)絡(luò)的文本分類方法，其特征是：包括以下步驟：

1)進行預處理，采用預先訓練的單詞向量替換文本文檔中的單詞，將文本文檔填充到相同的長度，將可變長度的文本文檔轉(zhuǎn)換為固定大小的n×m維矩陣的輸入文本，其中n為文檔的長度，m為預訓練單詞的維數(shù)向量；

2)設(shè)W表示輸入文檔，利用w_i表示文本文檔中位于位置i的一個單詞，且w_i位于矩陣中行i的d維向量(即w_i∈R^d)，并將整個文本文檔看做一個向量序列，令W＝[w₁,w₂,…w_n],利用c_sub(W)表示序列W的子序列，即C_sub([w₁,w₂,w₃])＝{[],[w₁],[w₂],[w₃],[w₁,w₂],[w₂,w₃],[w₁,w₃],[w₁,w₂,w₃]}；

3)采用范圍表示文本文檔中單詞之間距離的約束，利用d(w_i,w_j)表示單詞w_i到單詞w_j的距離，即d(w_i,w_j)＝j(luò)-i，并定義文本文檔中單詞w_i和單詞w_j的距離滿足k-范圍約束，即僅當d(w_i,w_j)≤k；

4)定義k-作用域序列，給定一個單詞w_i,將其k-作用域序列定義為一個向量序列S_k(w_i)，使文本文檔中每個單詞均滿足0≤d(wi,wj)≤k；

5)利用k范圍卷積捕獲步驟1)中輸入文本的局部信息，定義k域級聯(lián)集，給定一個單詞w_i，在文本文檔W中，w_i的k范圍連接集為一個向量集合它包含所有從w_i開始的子序列的級聯(lián),即其中，設(shè)k＝2，k域級聯(lián)集為

6)使用激活函數(shù)對步驟5)中k域級聯(lián)集中每個元素進行計算，利用f(*)代表該計算，即一個向量的輸出結(jié)構(gòu)為：f(x)＝f(x,w^*)＝activation(∑w_i×w_i+b)，其中，w*是對給定的級聯(lián)結(jié)構(gòu)的權(quán)重，即時，w*是一個3m+1維度向量，3m是連接向量的長度，b是偏差；

7)對k范圍卷積層的輸出執(zhí)行最大池操作，選擇和記錄每個范圍中最獨特的特性，對于位置i的新特征如下：

利用最大池化層,輸出變換為n×1的矩陣，并將其提供給另一個將其作為單詞向量的新序列的k范圍卷積層，將其變成高級抽象表示上一層的文本的最佳局部特性。

2.根據(jù)權(quán)利要求1所述的一種基于范圍卷積神經(jīng)網(wǎng)絡(luò)的文本分類方法，其特征是：步驟6)中k域級聯(lián)集的計算的具體方法為：

A、將k-作用域序列S_k(w_i)中的元素連接起來，首先將k域級聯(lián)集設(shè)置為空，令k＝2，則S₂(w₁)＝(w₁,w₂,w₃)，并直接將單詞w1；添加到集合中，則當前集合為

B、利用S₂(w₁)中的第二個元素w₂生成并更新連接集

C、利用S₂(w₁)中的第三元素w₃連接現(xiàn)有的連接集，生成兩個新的連接和并將它們添加到當前的k域級聯(lián)集，完成整個過程最終生成結(jié)果：即得任何單詞w_i的k范圍連接集的大小為