[發明專利]一種基于E2LSH算法的文本數據流分類方法及裝置

有效

• 申請號: 202110351982.9
• 申請日: 2021-03-31
• 公開（公告）號: CN113076420B
• 公開（公告）日: 2022-10-18
• 發明（設計）人: 周夢泉;郎非
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62;G06N7/00
• 代理公司: 成都魚爪智云知識產權代理有限公司 51308
• 代理人: 王珍

1.一種基于E2LSH算法的文本數據流分類方法，其特征在于，包括以下步驟：

獲取數據集；

將所述數據集中的數據進行文本向量化處理，得到每條數據的概念表征；所述文本向量化處理包括：將數據集進行文本預處理，得到預處理數據；采用TF-IDF算法和LDA算法對預處理數據進行向量化處理，以得到每條數據的概念表征，包括：采用TF-IDF算法對預處理數據進行向量化處理，得到文本向量數據，預處理數據是經過中分文詞和去停用詞后的數據，再經過TF-IDF算法進行向量化處理得到文本向量，上述向量化處理是指首先計算出各個詞頻TF，然后計算出逆文檔頻率IDF，最后計算出TF-IDF；采用LDA算法對文本向量數據進行計算處理，得到文本主題矩陣數據；上述計算處理是指將文本向量數據轉化為文檔主題矩陣，每一條文本對應了一個主題向量，將文本主題矩陣數據中每條文本對應的主題向量作為該條數據的概念表征；

獲取并根據數據特征對所述數據集中的數據進行分類，得到多個不同類別的數據塊；

將各個數據塊中每條數據的概念表征進行平均處理，以得到各個數據塊的概念表征；

采用E2LSH算法對各個數據塊的概念表征進行計算處理，得到計算結果，并將所述計算結果與預置的概念表征桶匹配，以得到各個數據塊的概念表征所對應的概念表征桶；

根據所述對應的概念表征桶對所述數據集中的數據進行分類，得到分類結果。

2.根據權利要求1所述的基于E2LSH算法的文本數據流分類方法，其特征在于，所述采用E2LSH算法對各個數據塊的概念表征進行計算處理，得到計算結果，并將所述計算結果與預置的概念表征桶匹配，以得到各個數據塊的概念表征所對應的概念表征桶的步驟包括以下步驟：

采用E2LSH算法對所述數據塊的概念表征進行計算處理，得到所述數據塊的概念表征的指紋值；

將所述概念表征的指紋值與預置的概念表征桶內的指紋值匹配，得到所述概念表征的指紋值所對應的概念表征桶。

3.根據權利要求1所述的基于E2LSH算法的文本數據流分類方法，其特征在于，還包括以下步驟：

獲取樣本數據集；

將所述樣本數據集中的數據進行文本向量化處理，得到每條樣本數據的概念表征；

獲取并根據數據特征對所述樣本數據集中數據進行分類，得到數據特征箱體的樣本數據塊；

將各個樣本數據塊中每條樣本數據的概念表征進行平均處理，得到多個樣本數據塊的概念表征；

采用E2LSH算法對各個樣本數據塊的概念表征進行計算，以得到概念表征桶。

4.根據權利要求1所述的基于E2LSH算法的文本數據流分類方法，其特征在于，所述根據所述對應的概念表征桶對所述數據集中的數據進行分類，得到分類結果的步驟包括以下步驟：

提取所述對應的概念表征桶內的數據塊的文本向量；

根據所述文本向量利用預置的貝葉斯增量分類器對所述數據塊的數據進行分類，得到分類結果。

5.根據權利要求4所述的基于E2LSH算法的文本數據流分類方法，其特征在于，還包括以下步驟：

根據所述文本向量對預置的貝葉斯增量分類器進行訓練，得到新的貝葉斯增量分類器。