[發(fā)明專利]一種基于E2LSH算法的文本數(shù)據(jù)流分類方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110351982.9
• 申請(qǐng)日: 2021-03-31
• 公開(kāi)（公告）號(hào): CN113076420B
• 公開(kāi)（公告）日: 2022-10-18
• 發(fā)明（設(shè)計(jì)）人: 周夢(mèng)泉;郎非
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06K9/62;G06N7/00
• 代理公司: 成都魚(yú)爪智云知識(shí)產(chǎn)權(quán)代理有限公司 51308
• 代理人: 王珍

1.一種基于E2LSH算法的文本數(shù)據(jù)流分類方法，其特征在于，包括以下步驟：

獲取數(shù)據(jù)集；

將所述數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行文本向量化處理，得到每條數(shù)據(jù)的概念表征；所述文本向量化處理包括：將數(shù)據(jù)集進(jìn)行文本預(yù)處理，得到預(yù)處理數(shù)據(jù)；采用TF-IDF算法和LDA算法對(duì)預(yù)處理數(shù)據(jù)進(jìn)行向量化處理，以得到每條數(shù)據(jù)的概念表征，包括：采用TF-IDF算法對(duì)預(yù)處理數(shù)據(jù)進(jìn)行向量化處理，得到文本向量數(shù)據(jù)，預(yù)處理數(shù)據(jù)是經(jīng)過(guò)中分文詞和去停用詞后的數(shù)據(jù)，再經(jīng)過(guò)TF-IDF算法進(jìn)行向量化處理得到文本向量，上述向量化處理是指首先計(jì)算出各個(gè)詞頻TF，然后計(jì)算出逆文檔頻率IDF，最后計(jì)算出TF-IDF；采用LDA算法對(duì)文本向量數(shù)據(jù)進(jìn)行計(jì)算處理，得到文本主題矩陣數(shù)據(jù)；上述計(jì)算處理是指將文本向量數(shù)據(jù)轉(zhuǎn)化為文檔主題矩陣，每一條文本對(duì)應(yīng)了一個(gè)主題向量，將文本主題矩陣數(shù)據(jù)中每條文本對(duì)應(yīng)的主題向量作為該條數(shù)據(jù)的概念表征；

獲取并根據(jù)數(shù)據(jù)特征對(duì)所述數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行分類，得到多個(gè)不同類別的數(shù)據(jù)塊；

將各個(gè)數(shù)據(jù)塊中每條數(shù)據(jù)的概念表征進(jìn)行平均處理，以得到各個(gè)數(shù)據(jù)塊的概念表征；

采用E2LSH算法對(duì)各個(gè)數(shù)據(jù)塊的概念表征進(jìn)行計(jì)算處理，得到計(jì)算結(jié)果，并將所述計(jì)算結(jié)果與預(yù)置的概念表征桶匹配，以得到各個(gè)數(shù)據(jù)塊的概念表征所對(duì)應(yīng)的概念表征桶；

根據(jù)所述對(duì)應(yīng)的概念表征桶對(duì)所述數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行分類，得到分類結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于E2LSH算法的文本數(shù)據(jù)流分類方法，其特征在于，所述采用E2LSH算法對(duì)各個(gè)數(shù)據(jù)塊的概念表征進(jìn)行計(jì)算處理，得到計(jì)算結(jié)果，并將所述計(jì)算結(jié)果與預(yù)置的概念表征桶匹配，以得到各個(gè)數(shù)據(jù)塊的概念表征所對(duì)應(yīng)的概念表征桶的步驟包括以下步驟：

采用E2LSH算法對(duì)所述數(shù)據(jù)塊的概念表征進(jìn)行計(jì)算處理，得到所述數(shù)據(jù)塊的概念表征的指紋值；

將所述概念表征的指紋值與預(yù)置的概念表征桶內(nèi)的指紋值匹配，得到所述概念表征的指紋值所對(duì)應(yīng)的概念表征桶。

3.根據(jù)權(quán)利要求1所述的基于E2LSH算法的文本數(shù)據(jù)流分類方法，其特征在于，還包括以下步驟：

獲取樣本數(shù)據(jù)集；

將所述樣本數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行文本向量化處理，得到每條樣本數(shù)據(jù)的概念表征；

獲取并根據(jù)數(shù)據(jù)特征對(duì)所述樣本數(shù)據(jù)集中數(shù)據(jù)進(jìn)行分類，得到數(shù)據(jù)特征箱體的樣本數(shù)據(jù)塊；

將各個(gè)樣本數(shù)據(jù)塊中每條樣本數(shù)據(jù)的概念表征進(jìn)行平均處理，得到多個(gè)樣本數(shù)據(jù)塊的概念表征；

采用E2LSH算法對(duì)各個(gè)樣本數(shù)據(jù)塊的概念表征進(jìn)行計(jì)算，以得到概念表征桶。

4.根據(jù)權(quán)利要求1所述的基于E2LSH算法的文本數(shù)據(jù)流分類方法，其特征在于，所述根據(jù)所述對(duì)應(yīng)的概念表征桶對(duì)所述數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行分類，得到分類結(jié)果的步驟包括以下步驟：

提取所述對(duì)應(yīng)的概念表征桶內(nèi)的數(shù)據(jù)塊的文本向量；

根據(jù)所述文本向量利用預(yù)置的貝葉斯增量分類器對(duì)所述數(shù)據(jù)塊的數(shù)據(jù)進(jìn)行分類，得到分類結(jié)果。

5.根據(jù)權(quán)利要求4所述的基于E2LSH算法的文本數(shù)據(jù)流分類方法，其特征在于，還包括以下步驟：

根據(jù)所述文本向量對(duì)預(yù)置的貝葉斯增量分類器進(jìn)行訓(xùn)練，得到新的貝葉斯增量分類器。