[發(fā)明專(zhuān)利]數(shù)據(jù)處理方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201410577196.0
• 申請(qǐng)日: 2014-10-24
• 公開(kāi)（公告）號(hào): CN105589884B
• 公開(kāi)（公告）日: 2020-11-03
• 發(fā)明（設(shè)計(jì)）人: 羅勛;朱峰明
• 申請(qǐng)（專(zhuān)利權(quán)）人: 騰訊科技(深圳)有限公司
• 主分類(lèi)號(hào): G06F16/11
• 分類(lèi)號(hào): G06F16/11
• 代理公司: 深圳市深佳知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 王仲凱

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

獲取網(wǎng)絡(luò)中產(chǎn)生的實(shí)時(shí)數(shù)據(jù)，對(duì)所述實(shí)時(shí)數(shù)據(jù)標(biāo)記時(shí)間戳；

將所述實(shí)時(shí)數(shù)據(jù)打包為網(wǎng)絡(luò)數(shù)據(jù)包，得到網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)，所述實(shí)時(shí)數(shù)據(jù)采用文本格式；

將網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)化為檢索數(shù)據(jù)格式，得到網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)的檢索數(shù)據(jù)；

獲取歷史文件數(shù)據(jù)，對(duì)所述歷史文件數(shù)據(jù)標(biāo)記時(shí)間戳；

將所述歷史文件數(shù)據(jù)轉(zhuǎn)化為檢索數(shù)據(jù)格式，得到歷史文件數(shù)據(jù)的檢索數(shù)據(jù)；

按照標(biāo)記的時(shí)間戳，基于所述歷史文件數(shù)據(jù)和網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)的時(shí)間先后實(shí)現(xiàn)對(duì)所述網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)的檢索數(shù)據(jù)與所述歷史文件數(shù)據(jù)的檢索數(shù)據(jù)進(jìn)行入庫(kù)處理以供檢索；

其中，所述將網(wǎng)絡(luò)包的實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)化為檢索數(shù)據(jù)格式，得到網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)的檢索數(shù)據(jù)的步驟包括：

將所述文本格式的網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)進(jìn)行切詞，得到索引詞；

將所述文本格式的網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)添加到索引詞對(duì)應(yīng)的文檔序列中，得到倒排格式的檢索數(shù)據(jù)，所述文檔序列所屬的文檔列表中存儲(chǔ)有索引詞對(duì)應(yīng)的檢索文檔。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述按照標(biāo)記的時(shí)間戳，基于所述歷史文件數(shù)據(jù)和網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)的時(shí)間先后實(shí)現(xiàn)對(duì)所述網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)的檢索數(shù)據(jù)與所述歷史文件數(shù)據(jù)的檢索數(shù)據(jù)進(jìn)行入庫(kù)處理以供檢索的步驟包括：

判斷所述網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)的檢索數(shù)據(jù)與所述歷史文件數(shù)據(jù)的檢索數(shù)據(jù)是否存在檢索索引相同但內(nèi)容不同的情形；若是，則

分別獲取所述網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)的檢索數(shù)據(jù)的時(shí)間戳以及歷史文件數(shù)據(jù)的檢索數(shù)據(jù)的時(shí)間戳；

判斷所述網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)的檢索數(shù)據(jù)的時(shí)間戳與歷史文件數(shù)據(jù)的檢索數(shù)據(jù)的時(shí)間戳的先后順序；

將時(shí)間戳靠后的網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)的檢索數(shù)據(jù)或歷史文件數(shù)據(jù)的檢索數(shù)據(jù)入庫(kù)以供檢索。

3.根據(jù)權(quán)利要求1-2中任一項(xiàng)所述的方法，其特征在于，將對(duì)應(yīng)的檢索數(shù)據(jù)入庫(kù)的步驟包括：

將對(duì)應(yīng)的檢索數(shù)據(jù)傳入檢索系統(tǒng)入庫(kù)。

4.一種數(shù)據(jù)處理裝置，其特征在于，包括：

獲取模塊，用于獲取實(shí)時(shí)數(shù)據(jù)，將所述實(shí)時(shí)數(shù)據(jù)打包為網(wǎng)絡(luò)數(shù)據(jù)包，得到網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)，所述實(shí)時(shí)數(shù)據(jù)采用文本格式；獲取歷史文件數(shù)據(jù)；

標(biāo)記模塊，用于在所述獲取模塊獲取實(shí)時(shí)數(shù)據(jù)之后，對(duì)所述實(shí)時(shí)數(shù)據(jù)標(biāo)記時(shí)間戳；以及在所述獲取模塊獲取歷史文件數(shù)據(jù)之后，對(duì)所述歷史文件數(shù)據(jù)標(biāo)記時(shí)間戳；

轉(zhuǎn)化模塊，用于將網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)化為檢索數(shù)據(jù)格式，得到網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)的檢索數(shù)據(jù)；將所述歷史文件數(shù)據(jù)轉(zhuǎn)化為檢索數(shù)據(jù)格式，得到歷史文件數(shù)據(jù)的檢索數(shù)據(jù)；

入庫(kù)模塊，用于按照標(biāo)記的時(shí)間戳，基于所述歷史文件數(shù)據(jù)和網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)的時(shí)間先后實(shí)現(xiàn)對(duì)所述網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)的檢索數(shù)據(jù)與所述歷史文件數(shù)據(jù)的檢索數(shù)據(jù)進(jìn)行入庫(kù)處理以供檢索；

其中，所述轉(zhuǎn)化模塊，具體用于將所述文本格式的網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)進(jìn)行切詞，得到索引詞；

將所述文本格式的網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)添加到索引詞對(duì)應(yīng)的文檔序列中，得到倒排格式的檢索數(shù)據(jù)，所述文檔序列所屬的文檔列表中存儲(chǔ)有索引詞對(duì)應(yīng)的檢索文檔。

5.根據(jù)權(quán)利要求4所述的裝置，其特征在于，

所述入庫(kù)模塊，還用于判斷所述網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)的檢索數(shù)據(jù)與所述歷史文件數(shù)據(jù)的檢索數(shù)據(jù)是否存在檢索索引相同但內(nèi)容不同的情形；若是，則分別獲取所述網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)的檢索數(shù)據(jù)的時(shí)間戳以及歷史文件數(shù)據(jù)的檢索數(shù)據(jù)的時(shí)間戳；判斷所述網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)的檢索數(shù)據(jù)的時(shí)間戳與歷史文件數(shù)據(jù)的檢索數(shù)據(jù)的時(shí)間戳的先后順序；將時(shí)間戳靠后的網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)的檢索數(shù)據(jù)或歷史文件數(shù)據(jù)的檢索數(shù)據(jù)入庫(kù)以供檢索。

6.根據(jù)權(quán)利要求4-5中任一項(xiàng)所述的裝置，其特征在于，

所述入庫(kù)模塊，還用于將對(duì)應(yīng)的檢索數(shù)據(jù)傳入檢索系統(tǒng)入庫(kù)。

7.一種存儲(chǔ)介質(zhì)，其特征在于，包括若干指令用以執(zhí)行如權(quán)利要求1-3任一項(xiàng)所述的方法。