[發明專利]一種數據處理方法及裝置

有效

• 申請號: 201710250035.4
• 申請日: 2017-04-17
• 公開（公告）號: CN107145529B
• 公開（公告）日: 2020-04-07
• 發明（設計）人: 于明光
• 申請（專利權）人: 東軟集團股份有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 魏嘉熹;南毅寧

本公開涉及一種數據處理方法及裝置。該方法包括：當前過濾器處理單元接收上游過濾器處理單元發送的增量數據以及控制信號，控制信號包括增量數據對應的起始時間；當前過濾器處理單元判斷是否需要構建窗口數據；如果需要構建窗口數據，則根據預設窗口大小以及起始時間，從本地緩存中讀取歷史窗口數據；當前過濾器處理單元根據增量數據對應的時間步長，清理歷史窗口數據中時間最久的數據，得到歷史窗口數據中的保留數據；當前過濾器處理單元基于保留數據以及增量數據，構建新的窗口數據，并利用新的窗口數據替換本地緩存中的歷史窗口數據，新的窗口數據的窗口大小與預設窗口大小相同。如此方案，可使增量查詢方案能夠更好的適用于管道?過濾器模式。

技術領域

本公開涉及計算機處理技術領域，具體地，涉及一種數據處理方法及裝置。

背景技術

目前，進行窗口數據的跟蹤查詢時，大多采用以下兩種方式：

方式一，窗口數據的全量查詢。也就是說，單次查詢需要加載窗口內的所有數據，該方法簡單易行，但在大數據場景下，由于數據基數較大，多次往復查詢會加載大量的重復數據，造成資源浪費，很容易在實際應用中出現性能瓶頸。

方式二，窗口數據的增量查詢。為了解決方式一的資源浪費問題，現有技術提供了增量查詢方案，也就是說，單次查詢只需要加載窗口內最新的增量數據，可以有效避免反復加載重復數據造成的資源浪費。

但在實際應用中，將增量查詢方案應用于管道-過濾器(Pipe-And-Filter)模式時，對于需要進行全局處理的過濾器處理單元來說，如果僅提供最新的增量數據，并不能確保得到最終的窗口數據，進而也就無法獲得該窗口數據的查詢結果。也就是說，目前的增量查詢方案并不能很好的適用于管道-過濾器模式。

發明內容

本公開的目的是提供一種數據處理方法及裝置，以使增量查詢方案能夠更好的適用于管道-過濾器模式。

為了實現上述目的，第一方面，本公開提供一種數據處理方法，包括：

當前過濾器處理單元接收上游過濾器處理單元發送的增量數據以及控制信號，所述控制信號包括所述增量數據對應的起始時間；

所述當前過濾器處理單元判斷是否需要構建窗口數據；

如果需要構建窗口數據，所述當前過濾器處理單元根據預設窗口大小以及所述起始時間，從本地緩存中讀取歷史窗口數據；

所述當前過濾器處理單元根據所述增量數據對應的時間步長，清理所述歷史窗口數據中時間最久的數據，得到所述歷史窗口數據中的保留數據；

所述當前過濾器處理單元基于所述保留數據以及所述增量數據，構建新的窗口數據，并利用所述新的窗口數據替換所述本地緩存中的歷史窗口數據，所述新的窗口數據的窗口大小與所述預設窗口大小相同。

可選地，所述預設窗口大小通過所述控制信號傳遞至所述當前過濾器處理單元；或者，所述預設窗口大小預先配置于所述當前過濾器處理單元。

可選地，所述當前過濾器處理單元判斷是否需要構建窗口數據，包括：

所述當前過濾器處理單元配置有預設標志位，通過所述預設標志位的狀態判斷是否需要構建窗口數據。

可選地，所述當前過濾器處理單元判斷是否需要構建窗口數據，包括：

所述當前過濾器處理單元判斷是否配置有所述預設窗口大小；

如果配置有所述預設窗口大小，所述當前過濾器處理單元判定需要構建窗口數據。

可選地，所述當前過濾器處理單元設置有對應的索引文件，則

所述從本地緩存中讀取歷史窗口數據，包括：所述當前過濾器處理單元從所述索引文件中讀取所述歷史窗口數據；