[發(fā)明專利]數據處理方法及裝置，計算設備和介質

在審

• 申請?zhí)枺?/td>: 202110700394.1
• 申請日: 2021-06-23
• 公開（公告）號: CN113377809A
• 公開（公告）日: 2021-09-10
• 發(fā)明（設計）人: 田永生;汪婷;石然;朱良昌
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/2455
• 代理公司: 北京市漢坤律師事務所 11602
• 代理人: 姜浩然;吳麗麗

本公開提供了一種數據處理方法及裝置，計算設備和介質，涉及大數據領域，尤其涉及數據拼接領域。實現(xiàn)方案為：獲取第一數據流；在查詢表中查詢與所述第一數據流相對應的第二數據流在數據庫中的存儲信息，其中，所述數據庫中存儲有多個第二數據流，多個第二數據流包括至少一個有效的第二數據流，查詢表中包括所述至少一個有效的第二數據流中的每一個第二數據流在所述數據庫中的存儲信息；以及響應于在查詢表中查詢到與所述第一數據流相對應的第二數據流的存儲信息，基于所述存儲信息，在所述數據庫中確定用于與所述第一數據流執(zhí)行拼接處理的第二數據流。

技術領域

本公開涉及大數據技術領域，尤其涉及數據拼接技術領域，具體涉及一種數據處理的方法、裝置、計算設備、計算機可讀存儲介質和計算機程序產品。

背景技術

在大數據、機器學習等數據驅動的領域中，數據處理平臺(框架)起到重要的作用，例如常見的Spark Streaming、Storm、Apache Flink等等開源數據處理框架廣泛應用其中。從數據處理邏輯來看，數據處理可以分為單條數據流處理(例如，過濾、變換等等)、多條數據流處理(例如，聚合、拼接等等)兩種。

在此部分中描述的方法不一定是之前已經設想到或采用的方法。除非另有指明，否則不應假定此部分中描述的任何方法僅因其包括在此部分中就被認為是現(xiàn)有技術。類似地，除非另有指明，否則此部分中提及的問題不應認為在任何現(xiàn)有技術中已被公認。

發(fā)明內容

本公開提供了一種數據處理方法的方法、裝置、電子設備、計算機可讀存儲介質和計算機程序產品。

根據本公開的一方面，提供了一種數據處理方法，包括：獲取第一數據流；在查詢表中查詢與第一數據流相對應的第二數據流在數據庫中的存儲信息，其中，數據庫中存儲有多個第二數據流，多個第二數據流包括至少一個有效的第二數據流，查詢表中包括至少一個有效的第二數據流中的每一個第二數據流在數據庫中的存儲信息；以及響應于在查詢表中查詢到與第一數據流相對應的第二數據流的存儲信息，基于存儲信息，在數據庫中確定用于與第一數據流執(zhí)行拼接處理的第二數據流。

根據本公開的一方面，提供了一種數據處理裝置，包括：獲取單元，被配置用于獲取第一數據流；查詢單元，被配置用于在查詢表中查詢與第一數據流相對應的第二數據流在數據庫中的存儲信息，其中，數據庫中存儲有多個第二數據流，多個第二數據流包括至少一個有效的第二數據流，查詢表中包括至少一個有效的第二數據流中的每一個第二數據流在數據庫中的存儲信息；以及第一確定單元，被配置用于響應于在查詢表中查詢到與第一數據流相對應的第二數據流的存儲信息，基于存儲信息，在數據庫中確定用于與第一數據流執(zhí)行拼接處理的第二數據流。

根據本公開的一方面，提供了一種計算設備，包括：至少一個處理器；以及與至少一個處理器通信連接的存儲器；其中存儲器存儲有可被至少一個處理器執(zhí)行的指令，指令被至少一個處理器執(zhí)行，以使至少一個處理器能夠執(zhí)行上述的方法。

根據本公開的一方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，其中，計算機指令用于使計算機執(zhí)行根據上述的方法。

根據本公開的一方面，提供了一種計算機程序產品，包括計算機程序，其中，計算機程序在被處理器執(zhí)行時實現(xiàn)上述的方法。

根據本公開的一個或多個實施例，可以避免無效的數據搜索，提升數據處理的效率。

應當理解，本部分所描述的內容并非旨在標識本公開的實施例的關鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

附圖說明

附圖示例性地示出了實施例并且構成說明書的一部分，與說明書的文字描述一起用于講解實施例的示例性實施方式。所示出的實施例僅出于例示的目的，并不限制權利要求的范圍。在所有附圖中，相同的附圖標記指代類似但不一定相同的要素。