[發(fā)明專利]數據處理方法、裝置和系統

在審

• 申請?zhí)枺?/td>: 202011127446.2
• 申請日: 2020-10-20
• 公開（公告）號: CN113760564A
• 公開（公告）日: 2021-12-07
• 發(fā)明（設計）人: 吳雯祺
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F16/955
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張效榮;馮培培

本發(fā)明公開了一種數據處理方法、裝置和系統，涉及計算機技術領域。該方法包括：在接收到采集客戶端發(fā)送的數據上報消息后，對所述數據上報消息進行校驗；在所述數據上報消息通過校驗的情況下，根據所述數據上報消息獲取與之對應的通道信息，并根據所述通道信息判斷是否對消息中間件中的通道進行限流；在無需對所述通道進行限流的情況下，從所述數據上報消息中提取采集的終端數據，并將所述終端數據寫入所述通道。通過以上步驟，實現了多終端數據的統一采集、輸出，不僅提高了多終端數據采集、輸出的安全性和時效性，而且降低了數據輸出源的接入成本，提高了數據輸出源的接入效率。

技術領域

本發(fā)明涉及計算機技術領域，尤其涉及一種數據處理方法、裝置和系統。

背景技術

在進行數據分析之前，首先要解決的是數據采集問題。通常情況下，需要采集的數據可大致分為以下幾種：第一種，網頁上的用戶行為數據，這類數據的特點是數據量較大且上報地址較為分散；第二種，服務器上的實時日志數據，這類數據的特點是數據量適中且上報地址較為集中；第三種，用戶自定義上傳的實時數據，這類數據的特點是數據量不大，但是數據格式較為靈活。

在現有技術中，針對不同的數據存在不同的數據采集方案。針對于第一種數據，目前多采用前端代碼埋點的方式進行數據采集，即開發(fā)人員采用前端代碼(比如JavaScript代碼)對Web頁面上的控件事件進行監(jiān)聽，在前端代碼監(jiān)聽到用戶觸發(fā)的控件事件時收集用戶行為數據，并將其發(fā)送給后臺服務器；針對后兩種數據，目前多基于數據采集服務器提供的HTTP接口進行數據采集，即由用戶將需要上報的數據封裝到HTTP請求中，通過向后臺服務器發(fā)送HTTP請求進行數據上報。

在實現本發(fā)明的過程中，本發(fā)明的發(fā)明人發(fā)現：現有技術中針對不同終端數據的采集方案過于分散與定制化；對于需要這些數據的數據分析師來說，則需要接入不同的數據輸出源才能獲取到不同終端的數據，導致接入成本高，效率低下。

發(fā)明內容

有鑒于此，本發(fā)明提供了一種數據處理方法、裝置和系統，實現了多終端數據的統一采集、輸出，不僅提高了多終端數據采集、輸出的安全性和時效性，而且降低了數據輸出源的接入成本，提高了數據輸出源的接入效率。

為實現上述目的，根據本發(fā)明的第一個方面，提供了一種數據處理方法。

本發(fā)明的數據處理方法包括：在接收到采集客戶端發(fā)送的數據上報消息后，對所述數據上報消息進行校驗；其中，所述采集客戶端有多個，用于對多個終端的數據進行采集；在所述數據上報消息通過校驗的情況下，根據所述數據上報消息獲取與之對應的通道信息，并根據所述通道信息判斷是否對消息中間件中的通道進行限流；在無需對所述通道進行限流的情況下，從所述數據上報消息中提取采集的終端數據，并將所述終端數據寫入所述通道。

可選地，所述對所述數據上報消息進行校驗包括：根據所述數據上報消息攜帶的驗證碼對數據的正確性進行校驗，和/或，對所述數據上報消息進行字段完整性校驗，和/或，根據所述數據上報消息攜帶的用戶信息對用戶身份進行校驗。

可選地，根據所述數據上報消息獲取與之對應的通道信息，并根據所述通道信息判斷是否對消息中間件中的通道進行限流包括：根據所述數據上報消息攜帶的應用標識確定與之對應的通道標識；根據所述通道標識查詢出與之對應的通道信息；其中，所述通道信息包括該通道的限流標志位；若所述通道的限流標志位為第一取值，則無需對消息中間件中的通道進行限流；若所述通道的限流標志位為第二取值，則需要對消息中間件中的通道進行限流。

可選地，所述通道信息還包括：時間段、所述時間段內通道已存數據量；所述方法還包括：在將所述終端數據寫入所述通道之后，根據所述終端數據的數據量對所述時間段內通道已存數據量進行更新；在更新后的通道已存數據量大于限流閾值的情況下，將所述通道的限流標志位設置為第二取值。