[發明專利]多數據流的數據拼接方法、裝置、電子設備和存儲介質

有效

• 申請號: 202010043160.X
• 申請日: 2020-01-15
• 公開（公告）號: CN113127511B
• 公開（公告）日: 2023-09-15
• 發明（設計）人: 程怡;石然;朱小力
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種多數據流的數據拼接方法，其特征在于，包括：

當多數據流中第一數據流的第一數據到達時，確定所述第一數據流是否是指定的拼接觸發數據流；其中，所述多數據流中的部分數據流被預先指定為拼接觸發數據流；

在確定所述第一數據流是指定的拼接觸發數據流時，確定第二數據流中與所述第一數據匹配的第二數據是否已到達；

若是，從緩存的第二數據流的數據中查找與所述第一數據匹配的第二數據，以將第一數據與第二數據進行拼接；否則，將第一數據進行緩存；

其中，確定所述第二數據流中與所述第一數據匹配的第二數據是否已到達，包括：

獲取所述第一數據中攜帶的第二數據流的事件時間，以及第二數據流的當前高水位值；其中，第二數據流的當前高水位值是指當前第二數據流的所有已到達的各數據，所攜帶的第二數據流的事件時間中的最大事件時間；

若所述第一數據中攜帶的第二數據流的事件時間不大于所述第二數據流的當前高水位值，則確定所述第二數據流中與所述第一數據匹配的第二數據已到達，否則，確定所述第二數據流中與所述第一數據匹配的第二數據未到達。

2.根據權利要求1所述的方法，其特征在于，在確定所述第一數據流是指定的拼接觸發數據流之后、從緩存的第二數據流的數據中查找與所述第一數據匹配的第二數據之前，所述方法還包括：

確定所述第一數據是否是延遲時間在允許范圍內的數據；

若是，則觸發執行從緩存的第二數據流的數據中查找與所述第一數據匹配的第二數據的操作，否則，將第一數據進行緩存。

3.根據權利要求2所述的方法，其特征在于，確定所述第一數據是否是延遲時間在允許范圍內的數據，包括：

獲取所述第一數據中攜帶的第一數據流的事件時間以及所述第一數據流的當前低水位值；其中，第一數據流的當前低水位值是指當前第一數據流的所有已到達的各數據，所攜帶的第一數據流的事件時間中的最小事件時間；

若所述第一數據中攜帶的第一數據流的事件時間，不小于所述第一數據流的低水位值與第一數據流的允許延遲時間的差值，則確定所述第一數據是延遲時間在允許范圍內的數據，否則，確定所述第一數據不是延遲時間在允許范圍內的數據。

4.根據權利要求1所述的方法，其特征在于，所述方法還包括：

若未從緩存的第二數據流的數據中查找到與所述第一數據匹配的第二數據，則將第一數據進行緩存；

將緩存中的各第一數據按照各第一數據攜帶的第二數據流的事件時間，劃分入不同的時間窗口。

5.根據權利要求4所述的方法，其特征在于，所述方法還包括：

確定第二數據流的屬于當前時間窗口的數據，是否全部到達；

若是，遍歷當前時間窗口內的第一數據，對于遍歷到的第一數據，從緩存的第二數據流的數據中查找與遍歷到的第一數據匹配的第二數據，以將第一數據與第二數據進行拼接。

6.根據權利要求5所述的方法，其特征在于，確定第二數據流的屬于當前時間窗口的數據，是否全部到達，包括：

若第二數據流的當前低水位值與第二數據流的允許延遲時間的差值，大于或等于當前時間窗口的結束時間，則確定第二數據流的屬于當前時間窗口的數據，已全部到達，否則，確定第二數據流的屬于當前時間窗口的數據，未全部到達；

其中，第二數據流的當前低水位值是指當前第二數據流的所有已到達的各數據，所攜帶的第二數據流的事件時間中的最小事件時間。

7.根據權利要求4所述的方法，其特征在于，所述方法還包括：

在預先配置的定時器到時或緩存的第一數據的數量達到設定閾值時，遍歷緩存的第一數據，對于遍歷到的第一數據，從緩存的第二數據流的數據中查找與遍歷到的第一數據匹配的第二數據，以將第一數據與第二數據進行拼接。

8.根據權利要求1-7任一項所述的方法，其特征在于，所述多數據流中的拼接觸發數據流的數據量，小于所述多數據流中的非拼接觸發數據流的數據量。