[發明專利]一種高并發高解耦數據處理方法及數據中臺系統

在審

• 申請號: 202010531642.X
• 申請日: 2020-06-11
• 公開（公告）號: CN111831458A
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 姚毅;丁樺;熊云飛
• 申請（專利權）人: 武漢烽火技術服務有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F9/445;G06F16/21;G06K9/62
• 代理公司: 武漢智權專利代理事務所(特殊普通合伙) 42225
• 代理人: 王江能

本發明公開了一種高并發高解耦數據處理方法及數據中臺系統，涉及數據中臺領域，包括：Ngnix服務器接收打包數據并分發給Publisher實例，Publisher實例根據業務類型將打包數據分發給消息隊列，Consumer實例從消息隊列獲取打包數據并根據業務類型進行處理得到處理結果，Consumer實例將處理結果保存至本地數據庫，本地數據庫按照業務維度提供本地端口，并在公網提供相應的映射端口。本發明的有益效果：實現數據中臺系統的高并發高解耦和低費用，架構清晰，易于擴展。

技術領域

本發明數據中臺技術領域，具體涉及一種高并發高解耦數據處理方法及數據中臺系統。

背景技術

中臺是最早由阿里在2015年提出的“大中臺，小前臺”戰略中延伸出來的概念，關于數據中臺的整體定義，也隨著頭部企業落地數據種而組件清晰，數據中臺是指通過數據技術，對海量數據進行采集、計算、存儲、加工，同時統一標準和口徑。知名數據分析機構Canalys2019年2月的相關數據報告，2018年全球云計算市場規模突破800億美元，達到804億美元；未來10-15年，“數據中臺”也許會超越今天的云計算市場，形成一個萬億級市場。

數據中臺的“中”本身就是相對的，沒有絕對的標準，需求的粒度也是不盡相同。它不是一個平臺，也不是一個系統，更像是一種數據流處理的架構，靈活性非常大，所以即使拿到其他企業的中臺源代碼也不能立即上手復用到自己的企業應用當中。目前雖然有少數大廠已經提供了數據中臺服務，可以解決大部分數據中臺的架構設計問題，但是并不一定可以滿足企業的需求，企業構建屬于自己的一套具有高度靈活性的定制化數據中臺解決方案是有必要性的，當然也是可行的，同時可以避免被大廠的服務所捆綁。

目前大部分的企業存在“業務生成數據，數據驅動業務”的這種需求，所以在數據中臺的解決方案上存在較多問題，概括起來有下面幾點：

(1)數據處理缺乏統一標準，與具體業務耦合，靈活性差，如何統一口徑、標準和高時效性。

(2)架構邊界定義不明確，對數據上報和數據處理不分離，存在歧義，擴展比較難。

(3)云服務器租賃費用較高，數據存儲成本大，后期的遷移受限，被數據中臺解決方案提供商強行綁定。

發明內容

針對現有技術中存在的缺陷，本發明提供一種低費用的高并發高解耦數據處理方法及數據中臺系統。

為達到以上目的，采取的技術方案是：

一種高并發高解耦數據處理方法，包括：

數據入棧過程，通過Ngnix服務器接收打包數據并分發給多個Publisher實例，Publisher實例根據打包數據的業務類型將其分發給多個消息隊列；

數據出棧過程，通過Consumer實例從多個消息隊列獲取打包數據，并對其進行處理得到處理結果，將處理結果存入本地數據庫，本地數據庫對處理結果進行分類得到對應不同業務維度的最終數據，每個業務維度的最終數據均通過唯一的本地端口和映射端口輸出。

優選的，數據處理方法還包括配置過程：

配置本地數據庫的預設分類策略，預設分類策略為根據多個業務維度對數據進行分類；

配置本地數據庫，本地數據庫包括多個本地端口，在公網上配置有與每個本地端口對應的映射端口。

優選的，配置過程還包括配置預設數量的數據來源端及對應的上報權限，配置上報權限包括：

數據來源端向數據中臺系統申請appId、appKey、以及向數據中臺系統上報打包數據時的原始URL；