[發(fā)明專利]一種基于類別稠密向量表示的通用文本分類方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010080710.5
• 申請(qǐng)日: 2020-02-05
• 公開（公告）號(hào): CN111259658B
• 公開（公告）日: 2022-08-19
• 發(fā)明（設(shè)計(jì)）人: 郭嘉豐;范意興;袁浩達(dá);程學(xué)旗
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院計(jì)算技術(shù)研究所
• 主分類號(hào): G06F40/279
• 分類號(hào): G06F40/279;G06F40/216;G06K9/62
• 代理公司: 北京律誠(chéng)同業(yè)知識(shí)產(chǎn)權(quán)代理有限公司 11006
• 代理人: 祁建國(guó)

1.一種基于類別稠密向量表示的通用文本分類方法，其特征在于，包括：

步驟1、獲取包括以標(biāo)記類別文本的訓(xùn)練數(shù)據(jù)，使用全連接網(wǎng)絡(luò)處理該訓(xùn)練數(shù)據(jù)，得到各類別的類別稠密向量；

步驟2、將待分類文本輸入至深度神經(jīng)網(wǎng)絡(luò)，得到該待分類文本中每個(gè)詞的詞稠密向量，并將每個(gè)詞的詞稠密向量相加，和/或最大值池化，和/或經(jīng)短期記憶網(wǎng)絡(luò)處理后得到該待分類文本的文本稠密向量；

步驟3、將該文本稠密向量和所有該類別稠密向量輸入至匹配度測(cè)量模型，得到該待分類文本屬于各類別的概率分布，將該待分類文本與該概率分布中概率最大的類別相匹配，作為該待分類文本的分類結(jié)果；

其中該步驟1包括：

對(duì)于訓(xùn)練數(shù)據(jù)X_n＝[x₁,…,x_m],x_i∈X,y_n∈Y，其中X為詞典，Y為類別集合，[x₁,…,x_m]為詞序列，m為輸入文本長(zhǎng)度，N為數(shù)據(jù)集規(guī)模，利用全連接網(wǎng)絡(luò)獲得詞向量V＝f₁(X_n),其中P為文本特征空間的維度；通過(guò)對(duì)訓(xùn)練數(shù)據(jù)聚集得到類別的稠密向量表示C＝[c₁,…,c_K],其中K為類別的數(shù)量；

步驟3中該匹配度測(cè)量模型，用于通過(guò)下式得到各類該類別稠密向量和該文本稠密向量的匹配特征，得到該匹配特征的過(guò)程具體包括：通過(guò)下式得到該類別稠密向和該文本稠密向量中每個(gè)詞的余弦相似度、雙向線性和元素乘；

M_bi-linear＝CW_bi-linearV^T,

之后通過(guò)下式將相似度結(jié)果拼接，得到類別表示和每個(gè)詞的匹配特征M，再通過(guò)深度神經(jīng)網(wǎng)絡(luò)得到各類別和整個(gè)待分類文本的匹配特征M_{matching_feature}，其中Q為匹配特征的維度：

M＝concat(expand(M_cos),expand(M_bi-linear),M_{ponitwise-multi})

根據(jù)下式通過(guò)全連接層得到輸入文本和每個(gè)類別之間的匹配得分score，再經(jīng)過(guò)softmax層得到輸入文本屬于每個(gè)類別的概率分布其中⊙表示矩陣的對(duì)應(yīng)列分別求內(nèi)積；

2.如權(quán)利要求1所述的基于類別稠密向量表示的通用文本分類方法，其特征在于，該步驟1包括：在生成類別稠密向量時(shí)，對(duì)該訓(xùn)練數(shù)據(jù)中所有屬于同一類別的文本中的詞向量表示取平均值，作為初始化的類別稠密向量。