[發明專利]數據發布方法、裝置、存儲介質及計算機設備

在審

• 申請號: 202110871410.3
• 申請日: 2021-07-30
• 公開（公告）號: CN115687374A
• 公開（公告）日: 2023-02-03
• 發明（設計）人: 楊亞鵬;唐佳;徐雄
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/2455;G06F16/21;G06Q30/0241
• 代理公司: 北京勵誠知識產權代理有限公司 11647
• 代理人: 趙爽

1.一種數據發布方法，其特征在于，所述方法包括：

根據數據生產方生成的變更數據，生成所述變更數據對應的流水數據，其中，所述流水數據用于記錄所述變更數據的數據變更日志信息，每條流水數據有空間唯一的流水號，由流水號服務維護所述流水號；

對所述流水數據進行預處理，所述預處理后的流水數據的數據量小于預處理前的所述流水數據的數據量；

將所述變更數據與所述預處理后的流水數據緩存至數據緩存層；

監控所述流水號服務，以確定流水空間的流水號是否發生變更，所述流水空間為記錄所述流水數據和所述流水號的數據集合；

若確定流水空間的流水號發生變更，則根據發生變更的目標流水號，從所述數據緩存層中讀取目標流水數據以及獲取所述目標流水數據記錄的目標變更數據，并將所述目標變更數據發布到數據使用方。

2.如權利要求1所述的數據發布方法，其特征在于，所述對所述流水數據進行預處理，包括：

在同一流水空間的每一個數據處理窗口期內，對所述流水數據進行合并壓縮處理和過濾處理，以得到所述預處理后的流水數據。

3.如權利要求2所述的數據發布方法，其特征在于，所述流水數據包括流水日志，所述流水日志中包含目標變更數據的主鍵和分區鍵，所述對所述流水數據進行合并壓縮處理和過濾處理，包括：

對所述流水數據中同一行數據對應的流水日志進行合并壓縮，其中所述同一行數據為主鍵與分區鍵一致的數據；和/或

從所述流水數據中丟棄數據使用方不關注的流水日志，或者丟棄無意義的流水日志，以對所述流水數據進行過濾處理。

4.如權利要求3所述的數據發布方法，其特征在于，所述根據發生變更的目標流水號，從所述數據緩存層中讀取目標流水數據以及獲取所述目標流水數據記錄的目標變更數據，包括：

根據所述目標流水號確定所述目標流水數據對應的流水日志；

根據所述目標流水數據對應的流水日志的主鍵和分區鍵尋址所述目標變更數據的數據行，以從所述數據緩存層中獲取所述目標流水數據記錄的目標變更數據。

5.如權利要求1所述的數據發布方法，其特征在于，所述將所述變更數據與所述預處理后的流水數據緩存至數據緩存層，包括：

控制所述數據緩存層監控流水號的變化，當監控到流水號變化時，控制所述數據緩存層根據所述流水號獲取對應的預處理后的流水數據并進行緩存，以及主動拉取所述預處理后的流水數據記錄的變更數據并進行緩存；或者

當生成所述變更數據對應的流水數據時，將變更通知發送至所述數據緩存層，并控制所述數據緩存層根據所述變更通知獲取所述預處理后的流水數據以及所述預處理后的流水數據記錄的變更數據并進行緩存。

6.如權利要求1所述的數據發布方法，其特征在于，所述監控所述流水號服務，以確定流水空間的流水號是否發生變更，包括：

每隔預設時間段查詢所述流水號服務，將當前查詢到的流水號和上次記錄的流水號的值進行比對；

若所述當前查詢到的流水號的值大于所述上次記錄的流水號的值，則確定所述當前查詢到的流水號發生變更。

7.如權利要求1-6任一項所述的數據發布方法，其特征在于，在所述將所述目標變更數據發布到數據使用方之前，還包括：

將所述數據生產方所在的業務域生成的所述目標變更數據的第一數據對象，按照所述數據使用方的不同需求轉換為所述數據使用方對應的第二數據對象。

8.如權利要求7所述的數據發布方法，其特征在于，所述將所述數據生產方所在的業務域生成的所述目標變更數據的第一數據對象，按照所述數據使用方的不同需求轉換為所述數據使用方對應的第二數據對象，包括：

接收所述數據使用方發送的針對所述目標變更數據的第一數據對象的第一訪問請求；

根據所述第一訪問請求，從與所述第一數據對象具有對應關系的待匹配規則集合中確定出目標規則，并根據所述目標規則將所述第一數據對象轉換為數據使用方對應的第二數據對象。