[發(fā)明專利]一種基于E2LSH算法的文本數(shù)據(jù)流分類方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110351982.9
• 申請(qǐng)日: 2021-03-31
• 公開（公告）號(hào): CN113076420B
• 公開（公告）日: 2022-10-18
• 發(fā)明（設(shè)計(jì)）人: 周夢泉;郎非
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06K9/62;G06N7/00
• 代理公司: 成都魚爪智云知識(shí)產(chǎn)權(quán)代理有限公司 51308
• 代理人: 王珍

本發(fā)明提出了一種基于E2LSH算法的文本數(shù)據(jù)流分類方法及裝置，涉及數(shù)據(jù)處理技術(shù)領(lǐng)域。該基于E2LSH算法的文本數(shù)據(jù)流分類方法通過將數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行概念表征，將數(shù)據(jù)按照數(shù)據(jù)特征進(jìn)行分類得到多個(gè)數(shù)據(jù)塊，然后對(duì)數(shù)據(jù)塊中每條數(shù)據(jù)的概念表征求取平均得到數(shù)據(jù)塊的概念表征，再采用E2LSH算法將數(shù)據(jù)塊的概念表征計(jì)算，并將計(jì)算結(jié)果與預(yù)置的概念表征桶匹配得到對(duì)應(yīng)的概念表征桶，最后根據(jù)對(duì)應(yīng)的概念表征桶的數(shù)據(jù)對(duì)數(shù)據(jù)進(jìn)行分類。通過引入E2LSH算法，能夠快速匹配到對(duì)應(yīng)的概念表征桶，從而使數(shù)據(jù)分類的準(zhǔn)確率有了大幅度的提升。通過建立概念表征桶能夠快速匹配到數(shù)據(jù)塊的概念表征，從而可以進(jìn)一步提高數(shù)據(jù)分類速度。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體而言，涉及一種基于E2LSH算法的文本數(shù)據(jù)流分類方法及裝置。

背景技術(shù)

概念漂移是指數(shù)據(jù)流在不同時(shí)間段生成數(shù)據(jù)的分布發(fā)生了變化，對(duì)于發(fā)生漂移的數(shù)據(jù)流，需要分類器動(dòng)態(tài)調(diào)整來減少分類準(zhǔn)確率的損失，重現(xiàn)漂移是概念漂移的一種，指之前出現(xiàn)過概念可能會(huì)再次出現(xiàn)，但出現(xiàn)的時(shí)間不確定。比如垃圾郵件分類，某一用戶在不同時(shí)間段對(duì)垃圾郵件的定義可能會(huì)反復(fù)變化。對(duì)于求職的用戶，招聘時(shí)智聯(lián)郵件被視為正常郵件，找到工作后就會(huì)試其為垃圾郵件，在失業(yè)后可能又會(huì)當(dāng)成正常郵件。

傳統(tǒng)漂移算法中通過直接丟棄舊分類器，建立新的分類器適應(yīng)新出現(xiàn)的概念，但重新訓(xùn)練新的分類器會(huì)導(dǎo)致對(duì)重現(xiàn)概念適應(yīng)的遲滯，短期內(nèi)分類準(zhǔn)確率降低的問題。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于E2LSH算法的文本數(shù)據(jù)流分類方法及裝置，用以改善現(xiàn)有技術(shù)中重新建立新的分類器導(dǎo)致對(duì)重現(xiàn)概念適應(yīng)的遲滯，短期內(nèi)分類準(zhǔn)確率降低的問題。

第一方面，本申請(qǐng)實(shí)施例提供一種基于E2LSH算法的文本數(shù)據(jù)流分類方法，包括以下步驟：

獲取數(shù)據(jù)集；

將數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行文本向量化處理，得到每條數(shù)據(jù)的概念表征；

獲取并根據(jù)數(shù)據(jù)特征對(duì)數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行分類，得到多個(gè)不同類別的數(shù)據(jù)塊；

將各個(gè)數(shù)據(jù)塊中每條數(shù)據(jù)的概念表征進(jìn)行平均處理，以得到各個(gè)數(shù)據(jù)塊的概念表征；

采用E2LSH算法對(duì)各個(gè)數(shù)據(jù)塊的概念表征進(jìn)行計(jì)算處理，得到計(jì)算結(jié)果，并將計(jì)算結(jié)果與預(yù)置的概念表征桶匹配，以得到各個(gè)數(shù)據(jù)塊的概念表征所對(duì)應(yīng)的概念表征桶；

根據(jù)對(duì)應(yīng)的概念表征桶對(duì)數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行分類，得到分類結(jié)果。

上述實(shí)現(xiàn)過程中，通過將數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行概念表征，將數(shù)據(jù)按照數(shù)據(jù)特征進(jìn)行分類得到多個(gè)數(shù)據(jù)塊，然后對(duì)數(shù)據(jù)塊中每條數(shù)據(jù)的概念表征求取平均得到數(shù)據(jù)塊的概念表征，再采用E2LSH算法將數(shù)據(jù)塊的概念表征計(jì)算，并將計(jì)算結(jié)果與預(yù)置的概念表征桶匹配得到對(duì)應(yīng)的概念表征桶，最后根據(jù)對(duì)應(yīng)的概念表征桶的數(shù)據(jù)對(duì)數(shù)據(jù)進(jìn)行分類。通過引入E2LSH算法，能夠快速匹配到對(duì)應(yīng)的概念表征桶，從而使數(shù)據(jù)分類的準(zhǔn)確率有了大幅度的提升。

基于第一方面，在本發(fā)明的一些實(shí)施例中，采用E2LSH算法對(duì)各個(gè)數(shù)據(jù)塊的概念表征進(jìn)行計(jì)算處理，得到計(jì)算結(jié)果，并將計(jì)算結(jié)果與預(yù)置的概念表征桶匹配，以得到各個(gè)數(shù)據(jù)塊的概念表征所對(duì)應(yīng)的概念表征桶的步驟包括以下步驟：

采用E2LSH算法對(duì)數(shù)據(jù)塊的概念表征進(jìn)行計(jì)算處理，得到數(shù)據(jù)塊的概念表征的指紋值；

將概念表征的指紋值與預(yù)置的概念表征桶內(nèi)的指紋值匹配，得到概念表征的指紋值所對(duì)應(yīng)的概念表征桶。

基于第一方面，在本發(fā)明的一些實(shí)施例中，將數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行文本向量化處理，得到每條數(shù)據(jù)的概念表征的步驟包括以下步驟：

將數(shù)據(jù)集進(jìn)行文本預(yù)處理，得到預(yù)處理數(shù)據(jù)；

采用TF-IDF算法和LDA算法對(duì)預(yù)處理數(shù)據(jù)進(jìn)行向量化處理，以得到每條數(shù)據(jù)的概念表征。