[發(fā)明專利]數(shù)據(jù)處理方法、裝置和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011127446.2
• 申請(qǐng)日: 2020-10-20
• 公開(kāi)（公告）號(hào): CN113760564A
• 公開(kāi)（公告）日: 2021-12-07
• 發(fā)明（設(shè)計(jì)）人: 吳雯祺
• 申請(qǐng)（專利權(quán)）人: 北京沃東天駿信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06F9/54
• 分類號(hào): G06F9/54;G06F16/955
• 代理公司: 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 張效榮;馮培培

1.一種數(shù)據(jù)處理方法，其特征在于，所述方法包括：

在接收到采集客戶端發(fā)送的數(shù)據(jù)上報(bào)消息后，對(duì)所述數(shù)據(jù)上報(bào)消息進(jìn)行校驗(yàn)；其中，所述采集客戶端有多個(gè)，用于對(duì)多個(gè)終端的數(shù)據(jù)進(jìn)行采集；

在所述數(shù)據(jù)上報(bào)消息通過(guò)校驗(yàn)的情況下，根據(jù)所述數(shù)據(jù)上報(bào)消息獲取與之對(duì)應(yīng)的通道信息，并根據(jù)所述通道信息判斷是否對(duì)消息中間件中的通道進(jìn)行限流；

在無(wú)需對(duì)所述通道進(jìn)行限流的情況下，從所述數(shù)據(jù)上報(bào)消息中提取采集的終端數(shù)據(jù)，并將所述終端數(shù)據(jù)寫(xiě)入所述通道。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述數(shù)據(jù)上報(bào)消息進(jìn)行校驗(yàn)包括：

根據(jù)所述數(shù)據(jù)上報(bào)消息攜帶的驗(yàn)證碼對(duì)數(shù)據(jù)的正確性進(jìn)行校驗(yàn)，和/或，對(duì)所述數(shù)據(jù)上報(bào)消息進(jìn)行字段完整性校驗(yàn)，和/或，根據(jù)所述數(shù)據(jù)上報(bào)消息攜帶的用戶信息對(duì)用戶身份進(jìn)行校驗(yàn)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述數(shù)據(jù)上報(bào)消息獲取與之對(duì)應(yīng)的通道信息，并根據(jù)所述通道信息判斷是否對(duì)消息中間件中的通道進(jìn)行限流包括：

根據(jù)所述數(shù)據(jù)上報(bào)消息攜帶的應(yīng)用標(biāo)識(shí)確定與之對(duì)應(yīng)的通道標(biāo)識(shí)；根據(jù)所述通道標(biāo)識(shí)查詢出與之對(duì)應(yīng)的通道信息；其中，所述通道信息包括該通道的限流標(biāo)志位；若所述通道的限流標(biāo)志位為第一取值，則無(wú)需對(duì)消息中間件中的通道進(jìn)行限流；若所述通道的限流標(biāo)志位為第二取值，則需要對(duì)消息中間件中的通道進(jìn)行限流。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述通道信息還包括：時(shí)間段、所述時(shí)間段內(nèi)通道已存數(shù)據(jù)量；

所述方法還包括：在將所述終端數(shù)據(jù)寫(xiě)入所述通道之后，根據(jù)所述終端數(shù)據(jù)的數(shù)據(jù)量對(duì)所述時(shí)間段內(nèi)通道已存數(shù)據(jù)量進(jìn)行更新；在更新后的通道已存數(shù)據(jù)量大于限流閾值的情況下，將所述通道的限流標(biāo)志位設(shè)置為第二取值。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述時(shí)間段內(nèi)通道已存數(shù)據(jù)量包括：所述時(shí)間段內(nèi)通道已存數(shù)據(jù)的條數(shù)、以及所述時(shí)間段內(nèi)通道已存數(shù)據(jù)的字節(jié)數(shù)；

所述更新后的通道已存數(shù)據(jù)量大于限流閾值的情況包括：更新后的通道已存數(shù)據(jù)的條數(shù)大于第一限流閾值，或者，更新后的通道已存數(shù)據(jù)的字節(jié)數(shù)大于第二限流閾值。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從所述數(shù)據(jù)上報(bào)消息中提取采集的終端數(shù)據(jù)，并將所述終端數(shù)據(jù)寫(xiě)入所述通道包括：

從所述數(shù)據(jù)上報(bào)消息中提取采集的終端數(shù)據(jù)；讀取所述通道對(duì)應(yīng)的數(shù)據(jù)結(jié)構(gòu)配置信息；根據(jù)所述數(shù)據(jù)結(jié)構(gòu)配置信息對(duì)所述終端數(shù)據(jù)進(jìn)行組裝處理，將組裝處理后的數(shù)據(jù)寫(xiě)入所述通道。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

在需要對(duì)所述通道進(jìn)行限流的情況下，將所述數(shù)據(jù)上報(bào)消息寫(xiě)入緩存。

8.一種數(shù)據(jù)處理裝置，其特征在于，所述裝置包括：

校驗(yàn)?zāi)K，用于在接收到采集客戶端發(fā)送的數(shù)據(jù)上報(bào)消息后，對(duì)所述數(shù)據(jù)上報(bào)消息進(jìn)行校驗(yàn)；其中，所述采集客戶端有多個(gè)，用于對(duì)多個(gè)終端的數(shù)據(jù)進(jìn)行采集；

判斷模塊，用于在所述數(shù)據(jù)上報(bào)消息通過(guò)校驗(yàn)的情況下，根據(jù)所述數(shù)據(jù)上報(bào)消息獲取與之對(duì)應(yīng)的通道信息，并根據(jù)所述通道信息判斷是否對(duì)消息中間件中的通道進(jìn)行限流；

寫(xiě)入模塊，用于在無(wú)需對(duì)所述通道進(jìn)行限流的情況下，從所述數(shù)據(jù)上報(bào)消息中提取采集的終端數(shù)據(jù)，并將所述終端數(shù)據(jù)寫(xiě)入所述通道。

9.一種數(shù)據(jù)處理系統(tǒng)，其特征在于，所述系統(tǒng)包括：多個(gè)采集客戶端、網(wǎng)關(guān)、以及消息中間件；

所述多個(gè)采集客戶端部署在多個(gè)終端上，用于對(duì)所述多個(gè)終端的數(shù)據(jù)進(jìn)行采集；

所述網(wǎng)關(guān)設(shè)置有數(shù)據(jù)處理裝置，用于在接收到多個(gè)采集客戶端中的任意一個(gè)發(fā)送的數(shù)據(jù)上報(bào)消息后，對(duì)所述數(shù)據(jù)上報(bào)消息進(jìn)行校驗(yàn)；還用于在所述數(shù)據(jù)上報(bào)消息通過(guò)校驗(yàn)的情況下，根據(jù)所述數(shù)據(jù)上報(bào)消息獲取與之對(duì)應(yīng)的通道信息，并根據(jù)所述通道信息判斷是否對(duì)所述消息中間件中的通道進(jìn)行限流；還用于在無(wú)需對(duì)所述通道進(jìn)行限流的情況下，從所述數(shù)據(jù)上報(bào)消息中提取采集的終端數(shù)據(jù)，并將所述終端數(shù)據(jù)寫(xiě)入所述通道；

所述消息中間件，用于對(duì)寫(xiě)入所述通道的終端數(shù)據(jù)進(jìn)行輸出。