[發(fā)明專利]數(shù)據(jù)處理方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201410577196.0
• 申請(qǐng)日: 2014-10-24
• 公開（公告）號(hào): CN105589884B
• 公開（公告）日: 2020-11-03
• 發(fā)明（設(shè)計(jì)）人: 羅勛;朱峰明
• 申請(qǐng)（專利權(quán)）人: 騰訊科技(深圳)有限公司
• 主分類號(hào): G06F16/11
• 分類號(hào): G06F16/11
• 代理公司: 深圳市深佳知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 王仲凱

本發(fā)明涉及一種數(shù)據(jù)處理方法及裝置，其方法包括：獲取實(shí)時(shí)數(shù)據(jù)，將所述實(shí)時(shí)數(shù)據(jù)打包為網(wǎng)絡(luò)數(shù)據(jù)包，得到網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)；將網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)化為檢索數(shù)據(jù)格式，得到網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)的檢索數(shù)據(jù)；將網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)的檢索數(shù)據(jù)入庫(kù)以供檢索。本發(fā)明減少了系統(tǒng)對(duì)于存儲(chǔ)系統(tǒng)的依賴，大大提升了入庫(kù)性能和系統(tǒng)穩(wěn)定性，可將檢索延遲波動(dòng)控制在毫秒級(jí)別，提高檢索效率，減少資源消耗；此外，通過(guò)標(biāo)記數(shù)據(jù)時(shí)間戳的技術(shù)，兼容實(shí)時(shí)數(shù)據(jù)和歷史文件數(shù)據(jù)的同時(shí)入庫(kù)，避免兩類數(shù)據(jù)同時(shí)入庫(kù)帶來(lái)的亂序問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及網(wǎng)絡(luò)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法及裝置。

背景技術(shù)

目前，網(wǎng)絡(luò)實(shí)時(shí)數(shù)據(jù)入庫(kù)系統(tǒng)由網(wǎng)頁(yè)搜索的入庫(kù)系統(tǒng)衍生而來(lái)。該系統(tǒng)的實(shí)時(shí)數(shù)據(jù)交互是基于文件，即實(shí)時(shí)數(shù)據(jù)以一個(gè)一個(gè)文件的方式推送到該系統(tǒng)進(jìn)行檢索數(shù)據(jù)轉(zhuǎn)化處理，生成的檢索數(shù)據(jù)也以文件的形式存儲(chǔ)。檢索系統(tǒng)通過(guò)定時(shí)掃描存儲(chǔ)系統(tǒng)中是否有新的數(shù)據(jù)文件生成來(lái)入庫(kù)數(shù)據(jù)。其數(shù)據(jù)流程具體如圖1所示。

現(xiàn)有的這種實(shí)時(shí)數(shù)據(jù)入庫(kù)系統(tǒng)存在以下缺陷：

首先，基于文件的數(shù)據(jù)交互極度依賴存儲(chǔ)系統(tǒng)的性能，當(dāng)實(shí)時(shí)文件存儲(chǔ)數(shù)量達(dá)到一定程度之后，會(huì)出現(xiàn)存取很慢的問(wèn)題，導(dǎo)致檢索延遲(數(shù)據(jù)從生成到可被檢索到的時(shí)間差)成倍增加。

其次，該系統(tǒng)的數(shù)據(jù)更新方式采用文件定時(shí)掃描，綜合存儲(chǔ)系統(tǒng)的性能，只能把掃描時(shí)間粒度設(shè)置為分鐘級(jí)別，即該系統(tǒng)的檢索延遲為分鐘級(jí)別，在實(shí)際使用中存在入庫(kù)時(shí)間不穩(wěn)定，波動(dòng)很大的問(wèn)題。

另外，數(shù)據(jù)文件存取的穩(wěn)定性極大依賴于存儲(chǔ)系統(tǒng)的穩(wěn)定性，有較高的出錯(cuò)幾率，而且當(dāng)存儲(chǔ)系統(tǒng)出現(xiàn)波動(dòng)，將導(dǎo)致出錯(cuò)的數(shù)據(jù)文件需要手動(dòng)修復(fù)，由此，增加了運(yùn)營(yíng)維護(hù)成本。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種數(shù)據(jù)處理方法及裝置，旨在解決實(shí)時(shí)數(shù)據(jù)入庫(kù)系統(tǒng)入庫(kù)性能和穩(wěn)定性低、檢索延遲和成本高的技術(shù)問(wèn)題。

本發(fā)明實(shí)施例提出了一種數(shù)據(jù)處理方法，包括：

獲取實(shí)時(shí)數(shù)據(jù)，將所述實(shí)時(shí)數(shù)據(jù)打包為網(wǎng)絡(luò)數(shù)據(jù)包，得到網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)；

將網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)化為檢索數(shù)據(jù)格式，得到網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)的檢索數(shù)據(jù)；

將網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)的檢索數(shù)據(jù)入庫(kù)以供檢索。

本發(fā)明實(shí)施例還提出一種數(shù)據(jù)處理裝置，包括：

獲取模塊，用于獲取實(shí)時(shí)數(shù)據(jù)，將所述實(shí)時(shí)數(shù)據(jù)打包為網(wǎng)絡(luò)數(shù)據(jù)包，得到網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)；

轉(zhuǎn)化模塊，用于將網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)化為檢索數(shù)據(jù)格式，得到網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)的檢索數(shù)據(jù)；

入庫(kù)模塊，用于將網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)的檢索數(shù)據(jù)入庫(kù)以供檢索。

本發(fā)明實(shí)施例提出的一種數(shù)據(jù)處理方法及裝置，通過(guò)將實(shí)時(shí)數(shù)據(jù)打包為網(wǎng)絡(luò)數(shù)據(jù)包，將網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)化為檢索數(shù)據(jù)格式，得到網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)的檢索數(shù)據(jù)；將網(wǎng)絡(luò)包實(shí)時(shí)數(shù)據(jù)的檢索數(shù)據(jù)入庫(kù)以供檢索，由于系統(tǒng)交互傳輸?shù)膶?shí)時(shí)數(shù)據(jù)為網(wǎng)絡(luò)包數(shù)據(jù)，由此減少了系統(tǒng)對(duì)于存儲(chǔ)系統(tǒng)的依賴，大大提升了入庫(kù)性能和系統(tǒng)穩(wěn)定性，可將檢索延遲波動(dòng)控制在毫秒級(jí)別，提高檢索效率，減少資源消耗；此外，通過(guò)標(biāo)記數(shù)據(jù)時(shí)間戳的技術(shù)，兼容實(shí)時(shí)數(shù)據(jù)和歷史文件數(shù)據(jù)的同時(shí)入庫(kù)，避免兩類數(shù)據(jù)同時(shí)入庫(kù)帶來(lái)的亂序問(wèn)題。

附圖說(shuō)明

圖1是現(xiàn)有的實(shí)時(shí)數(shù)據(jù)入庫(kù)系統(tǒng)的數(shù)據(jù)流程示意圖；

圖2是本發(fā)明實(shí)施例方案涉及的數(shù)據(jù)處理裝置的硬件結(jié)構(gòu)示意圖；

圖3是本發(fā)明數(shù)據(jù)處理方法第一實(shí)施例的流程示意圖；

圖4是本發(fā)明數(shù)據(jù)處理方法第二實(shí)施例的流程示意圖；

圖5是本發(fā)明數(shù)據(jù)處理方法第三實(shí)施例的流程示意圖；