[發明專利]一種數據發射方法及裝置

有效

• 申請號: 201810913710.1
• 申請日: 2018-08-10
• 公開（公告）號: CN110825533B
• 公開（公告）日: 2022-12-20
• 發明（設計）人: 林斌樹;劉華明
• 申請（專利權）人: 網宿科技股份有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F9/50
• 代理公司: 北京華智則銘知識產權代理有限公司 11573
• 代理人: 黃雪芝

1.一種數據發射方法，其特征在于，所述方法包括：

獲取數據發射指令，所述數據發射指令指向與至少一個發射數據關聯的多個分組數據；

從所述多個分組數據中確定已在本地數據池中存儲的目標分組數據，其中，每個所述目標分組數據中包括至少一個數據堆，所述數據堆是數據發射裝置從預設分組數據庫讀取到的數據按照預設粒度劃分得到；

在當前批次中讀取至少一個所述目標分組數據，其中，若讀取唯一一組目標分組數據，當前批次的第一個目標分組數據的堆數大于或等于指定堆數閾值，或，當前批次的第一個目標分組數據的堆數與其余任一目標分組數據的堆數之和大于所述指定堆數閾值；若讀取至少兩組目標分組數據，所述至少兩組目標分組數據中各個數據堆的堆數總和小于或者等于所述指定堆數閾值；

將當前批次讀取的所述目標分組數據封裝為數據元組，并向所述數據發射指令的發起方發送所述數據元組。

2.根據權利要求1所述的方法，其特征在于，所述分組數據與發射數據按照以下方式建立關聯關系：

在初始化時，讀取各個數據主題的分組信息，其中，所述數據主題中包括多個分組數據，所述分組信息包括所述數據主題的標識以及所述數據主題中各個分組數據的標識；

將各個所述數據主題中的分組數據按照數據主題的標識以及分組數據的標識進行排序；

獲取當前發射數據的索引標識，并根據所述索引標識，從排序后的分組數據中選取指定分組數據，并將所述指定分組數據分配給所述當前發射數據。

3.根據權利要求1所述的方法，其特征在于，在當前批次中讀取至少一個所述目標分組數據包括：

針對當前批次的第一個目標分組數據，根據所述第一個目標分組數據中包含的數據堆的堆數總和，更新預設堆數統計參數的累計值；

若更新后的累計值小于所述指定堆數閾值，讀取所述第一個目標分組數據中的各個數據堆，并遍歷所述本地數據池中的其它目標分組數據；

針對遍歷過程中的當前目標分組數據，計算所述當前目標分組數據中包含的數據堆的堆數總和與所述預設堆數統計參數的累計值之和，若計算出的結果大于所述指定堆數閾值，繼續遍歷下一個目標分組數據；若計算出的結果小于或者等于所述指定堆數閾值，讀取所述當前目標分組數據中的各個數據堆，并根據所述當前目標分組數據中包含的數據堆的堆數總和，更新所述預設堆數統計參數的累計值，并繼續遍歷下一個目標分組數據；

相應地，當所述本地數據池中的目標分組數據遍歷完成之后，將當前批次讀取的各個目標分組數據封裝為數據元組，并向所述數據發射指令的發起方發送所述數據元組。

4.根據權利要求3所述的方法，其特征在于，所述方法還包括：

若更新后的累計值大于或者等于所述指定堆數閾值，將所述第一個目標分組數據作為所述當前批次唯一讀取的目標分組數據，并結束當前批次的數據讀取過程。

5.根據權利要求1所述的方法，其特征在于，在向所述數據發射指令的發起方發送所述數據元組之后，所述方法還包括：

在內存中記錄當前批次發送的各個目標分組數據對應的分組信息以及與所述分組信息相關聯的數據偏移量；其中，目標分組數據對應的分組信息包括所述目標分組數據所屬的數據主題的標識以及所述目標分組數據的標識，并且下一批次在所述本地數據池中讀取分組數據時，從所述數據偏移量表征的位置開始讀取數據。

6.根據權利要求1所述的方法，其特征在于，所述方法還包括：

針對所述本地數據池中未存儲的分組數據，獲取所述未存儲的分組數據的數據偏移量以及數據尺寸；

在預設分組數據庫中從所述數據偏移量表征的位置開始，讀取所述數據尺寸的數據，并將讀取的所述數據劃分為多個數據堆之后，將劃分得到的數據堆按照所屬的分組數據存放于所述本地數據池中。