[發(fā)明專利]一種基于時(shí)序特征學(xué)習(xí)的數(shù)據(jù)流分類方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010375038.2
• 申請(qǐng)日: 2020-05-07
• 公開(kāi)（公告）號(hào): CN111259994B
• 公開(kāi)（公告）日: 2020-07-17
• 發(fā)明（設(shè)計(jì)）人: 楊貽宏
• 申請(qǐng)（專利權(quán)）人: 上海飛旗網(wǎng)絡(luò)技術(shù)股份有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08
• 代理公司: 成都頂峰專利事務(wù)所(普通合伙) 51224
• 代理人: 曾凱

本發(fā)明提供了一種基于時(shí)序特征學(xué)習(xí)的數(shù)據(jù)流分類方法及裝置。當(dāng)緩存中的待分類數(shù)據(jù)流的數(shù)量較少時(shí)，采用開(kāi)啟部分特征提取線程的第一設(shè)定方式提取所述緩存中的待分類數(shù)據(jù)流的時(shí)序特征。這樣，可以為L(zhǎng)STM神經(jīng)網(wǎng)絡(luò)對(duì)應(yīng)的識(shí)別線程分配較多的時(shí)間片資源，從而減少確定識(shí)別標(biāo)簽的耗時(shí)，進(jìn)而及時(shí)地對(duì)待檢測(cè)數(shù)據(jù)流進(jìn)行分類。當(dāng)緩存中的待分類數(shù)據(jù)流的數(shù)量較多時(shí)，采用開(kāi)啟全部特征提取線程的第二設(shè)定方式提取所述緩存中的待分類數(shù)據(jù)流的時(shí)序特征。通過(guò)開(kāi)啟全部特征提取線程，能夠確保對(duì)緩存中的每個(gè)待分類數(shù)據(jù)流進(jìn)行時(shí)序特征提取，避免遺漏對(duì)緩存中的部分待分類數(shù)據(jù)流的時(shí)序特征提取。這樣，能夠確保通過(guò)LSTM神經(jīng)網(wǎng)絡(luò)對(duì)獲取到的所有待分類數(shù)據(jù)流進(jìn)行分類。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)數(shù)據(jù)分類技術(shù)領(lǐng)域，具體而言，涉及一種基于時(shí)序特征學(xué)習(xí)的數(shù)據(jù)流分類方法及裝置。

背景技術(shù)

隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展，各類服務(wù)器面臨的數(shù)據(jù)處理需求日益增多，這對(duì)服務(wù)器的數(shù)據(jù)處理能力提出了新的挑戰(zhàn)。服務(wù)器在進(jìn)行海量數(shù)據(jù)的處理時(shí)，數(shù)據(jù)分類是一個(gè)常見(jiàn)的步驟。通過(guò)對(duì)海量數(shù)據(jù)進(jìn)行分類，能夠提高服務(wù)器的數(shù)據(jù)處理效率并節(jié)省時(shí)間成本。然而，隨著數(shù)據(jù)規(guī)模的擴(kuò)大以及數(shù)據(jù)種類的增加，服務(wù)器難以高效地應(yīng)對(duì)大數(shù)據(jù)的數(shù)據(jù)流分類需求。

發(fā)明內(nèi)容

為了改善上述問(wèn)題，本發(fā)明提供了一種基于時(shí)序特征學(xué)習(xí)的數(shù)據(jù)流分類方法及裝置。

本發(fā)明實(shí)施例的第一方面，提供了一種基于時(shí)序特征學(xué)習(xí)的數(shù)據(jù)流分類方法，包括：

依次將獲取到的待分類數(shù)據(jù)流導(dǎo)入緩存；

根據(jù)所述緩存的剩余存儲(chǔ)容量按照第一設(shè)定方式或者第二設(shè)定方式提取所述緩存中的待分類數(shù)據(jù)流的時(shí)序特征；

將每個(gè)時(shí)序特征輸入預(yù)先訓(xùn)練完成的LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別，得到每個(gè)時(shí)序特征的識(shí)別標(biāo)簽；

將所述緩存中與所述識(shí)別標(biāo)簽對(duì)應(yīng)的待分類數(shù)據(jù)流存入與所述識(shí)別標(biāo)簽對(duì)應(yīng)的數(shù)據(jù)存儲(chǔ)區(qū)，并將所述識(shí)別標(biāo)簽對(duì)應(yīng)的待分類數(shù)據(jù)流從所述緩存中刪除。

優(yōu)選地，根據(jù)所述緩存的剩余存儲(chǔ)容量按照第一設(shè)定方式或者第二設(shè)定方式提取所述緩存中的待分類數(shù)據(jù)流的時(shí)序特征，包括：

若所述剩余存儲(chǔ)容量大于或等于設(shè)定容量，按照第一設(shè)定方式提取所述緩存中的待分類數(shù)量流的時(shí)序特征，則確定所述緩存中的待分類數(shù)據(jù)流所占用的目標(biāo)存儲(chǔ)容量與所述緩存的額定存儲(chǔ)容量的比值；

根據(jù)所述比值啟動(dòng)多個(gè)預(yù)設(shè)的特征提取線程；

采用啟動(dòng)的所述特征提取線程對(duì)所述待分類數(shù)據(jù)流進(jìn)行特征提取，得到所述待分類數(shù)據(jù)流對(duì)應(yīng)的時(shí)序特征。

優(yōu)選地，根據(jù)所述緩存的剩余存儲(chǔ)容量按照第一設(shè)定方式或者第二設(shè)定方式提取所述緩存中的待分類數(shù)據(jù)流的時(shí)序特征，包括：

若所述剩余存儲(chǔ)容量小于設(shè)定容量，按照第二設(shè)定方式提取所述緩存中的待分類數(shù)量流的時(shí)序特征，啟動(dòng)預(yù)設(shè)的多個(gè)特征提取線程中的每個(gè)特征提取線程，對(duì)所述待分類數(shù)據(jù)流進(jìn)行特征提取，得到所述待分類數(shù)據(jù)流對(duì)應(yīng)的時(shí)序特征。

優(yōu)選地，對(duì)所述待分類數(shù)據(jù)流進(jìn)行特征提取，得到所述待分類數(shù)據(jù)流對(duì)應(yīng)的時(shí)序特征，包括：

通過(guò)所述特征提取線程解析所述待分類數(shù)據(jù)流，得到所述待分類數(shù)據(jù)流的第一數(shù)據(jù)字節(jié)序列和第二數(shù)據(jù)字節(jié)序列；

確定所述第一數(shù)據(jù)字節(jié)序列中用于表征所述第一數(shù)據(jù)字節(jié)序列的起點(diǎn)的第一字節(jié)以及用于表征所述第一數(shù)據(jù)字節(jié)序列的終點(diǎn)的第二字節(jié)；

獲取所述第一字節(jié)對(duì)應(yīng)的第一時(shí)刻以及所述第二字節(jié)對(duì)應(yīng)的第二時(shí)刻；其中，所述第一時(shí)刻是接收到所述第一字節(jié)的時(shí)刻，所述第二時(shí)刻是接收到所述第二字節(jié)的時(shí)刻；

獲取將所述第一字節(jié)導(dǎo)入所述緩存的第三時(shí)刻以及將所述第二字節(jié)導(dǎo)入所述緩存的第四時(shí)刻；