[發明專利]一種用于中文新聞突發事件的文本分類與抽取方法

有效

• 申請號: 201811202156.2
• 申請日: 2018-10-16
• 公開（公告）號: CN109299266B
• 公開（公告）日: 2019-11-12
• 發明（設計）人: 滕輝;龍飛
• 申請（專利權）人: 中國搜索信息科技股份有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/9537
• 代理公司: 北京市盛峰律師事務所 11337
• 代理人: 于國富

1.一種用于中文新聞突發事件的文本分類與抽取方法，其特征在于，主要包括以下步驟：

S1，利用爬蟲獲取多個新聞網站內容作為初始新聞數據集，記為新聞數據集S＝{s₁,s₂,...,s_N}，其中，s_i為新聞數據集中第i個新聞文本，i＝1,2,...,N，N為新聞數據集新聞文本總數；

S2，對步驟S1中得到的新聞數據集S進行分類，得到分類好的新聞數據集

S3，對已經分類好的新聞數據集進行事件抽取；

步驟S2主要包括以下步驟：

S21，提取新聞數據集S中的第一個新聞文本s₁的標題和正文，得到新聞文本s′₁＝{t₁,c₁}，其中t₁為新聞文本s₁的標題，c₁為新聞文本s₁的標題；

S22，遍歷新聞數據集S中的所有新聞文本，重復步驟S21，得到新聞數據集S′，其中，N為新聞數據集新聞文本總數；

S23，提取所述新聞數據集S'中的新聞文本s′₁的特征向量，得到新聞數據集特征矩陣

S24，使用支持向量機分類器對步驟S23得到的新聞數據集特征矩陣進行分類，得到分類好的新聞數據集

步驟S23主要包括以下步驟：

S231，提取新聞數據集S'中的新聞文本s′₁中標題t₁的TF-IDF特征，得到特征向量a₁，其中，a_i為標題t₁的TF-IDF特征值，i＝1,2,...,m，m為新聞文本s′₁標題t₁的詞匯總數，η為根據標題t₁中詞的詞性所分配的權重系數,滿足

S232，從上述特征向量a₁中的選取2個最大特征值，記為a′₁＝[a′₁,a′₂]^T，將2個最大特征值對應的詞匯記為

S233，提取新聞數據集S'中的新聞文本s′₁中正文c₁的TF-IDF特征，得到特征向量b₁，其中，b_i為正文c₁的TF-IDF特征值，i＝1,2,...,n，n為新聞文本s′₁正文c₁的詞匯總數，η為根據正文c₁中詞的詞性所分配的權重系數,滿足

S234，從上述特征向量b₁中的選取28個最大特征值，記為b′₁＝[b′₁,b′₂,...,b′₂₈]^-1，將28個最大特征值對應的詞匯記為

S235，將步驟S232中得到特征向量a₁和步驟(2-3-4)中得到的特征向量b₁拼接成為權值矩陣ω₁：權重矩陣對應的詞匯表記為

S236，對步驟S235中得到的詞匯表V₁采用Word2Vec模型進行特征提取，得到新聞文本s′₁特征矩陣F_30×M：F＝[f₁,f₂,...,f₃₀]^T，其中f_i為詞匯表V₁中第i個詞的特征向量，M為特征向量維數，M取值為200；

S237，根據步驟S235得到的權值矩陣ω₁和步驟S236得到的特征矩陣F_30×M，按照如下公式得到新聞文本s′₁特征向量F'：

其中，ω_1i*F_i為權值矩陣ω₁第i行和特征矩陣F第i行哈達馬積；

S238，對上述步驟得到的特征向量F'進行歸一化，得到歸一化后的特征向量f，其中|f|為特征向量f的模；

S239，遍歷新聞數據集S'中的每一個新聞文本，重復上述步驟S231～S237，得到新聞數據集特征矩陣N為新聞數據集新聞文本總數；

步驟S3主要包括以下步驟：

S31，從分類好的新聞數據集選取第一類，對第一類中的不同新聞文本集合進行特征提取，構建候選事件集合

S32，利用支持向量機分類器對上述步驟S31得到的候選事件集合進行事件實例的識別，過濾掉非事件實例，得到事件實例集合Q；

S33，對上述步驟得到的事件實例集合Q進行初始聚類，得到k個聚類C＝{C₁,C₂,...,C_k}，k為聚類的類別數；

S34，從上述步驟得到的聚類C_i(1≤i≤k)中任意選取一個事件實例作為初始聚類中心，得到k個聚類中心{o₁,o₂,...,o_k}；

S35，使用上述步驟得到的k個聚類中心{o₁,o₂,...,o_k}作為k-medoids算法的聚類中心，通過聚類得到k個聚類{C′₁,C′₂,...,C′_k}，其中C′_i(1≤i≤k)代表了新聞數據集中第i類下的不同事件集合；

S36，遍歷新聞數據集中的所有類，重復步驟S31～S35，得到所有的事件集合；

步驟S33中利用層次聚類算法進行初始聚類。