[發明專利]一種數據處理方法及裝置

有效

• 申請號: 201710250035.4
• 申請日: 2017-04-17
• 公開（公告）號: CN107145529B
• 公開（公告）日: 2020-04-07
• 發明（設計）人: 于明光
• 申請（專利權）人: 東軟集團股份有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 魏嘉熹;南毅寧

1.一種數據處理方法，其特征在于，包括：

當前過濾器處理單元接收上游過濾器處理單元發送的增量數據以及控制信號，所述控制信號包括所述增量數據對應的起始時間，相鄰過濾器處理單元之間設置有用于傳遞控制信號的控制管道；

所述當前過濾器處理單元判斷是否需要構建窗口數據；

如果需要構建窗口數據，所述當前過濾器處理單元根據預設窗口大小以及所述起始時間，從本地緩存中讀取歷史窗口數據；

所述當前過濾器處理單元根據所述增量數據對應的時間步長，清理所述歷史窗口數據中時間最久的數據，得到所述歷史窗口數據中的保留數據；

所述當前過濾器處理單元基于所述保留數據以及所述增量數據，構建新的窗口數據，并利用所述新的窗口數據替換所述本地緩存中的歷史窗口數據，所述新的窗口數據的窗口大小與所述預設窗口大小相同。

2.根據權利要求1所述的方法，其特征在于，所述預設窗口大小通過所述控制信號傳遞至所述當前過濾器處理單元；或者，所述預設窗口大小預先配置于所述當前過濾器處理單元。

3.根據權利要求1所述的方法，其特征在于，所述當前過濾器處理單元判斷是否需要構建窗口數據，包括：

所述當前過濾器處理單元配置有預設標志位，通過所述預設標志位的狀態判斷是否需要構建窗口數據；

或者，

所述當前過濾器處理單元判斷是否配置有所述預設窗口大小；如果配置有所述預設窗口大小，則判定需要構建窗口數據。

4.根據權利要求1所述的方法，其特征在于，所述當前過濾器處理單元設置有對應的索引文件，則

所述從本地緩存中讀取歷史窗口數據，包括：所述當前過濾器處理單元從所述索引文件中讀取所述歷史窗口數據；

所述利用所述新的窗口數據替換所述本地緩存中的歷史窗口數據，包括：所述當前過濾器處理單元將所述新的窗口數據寫入所述索引文件，替換所述歷史窗口數據。

5.根據權利要求1至4任一項所述的方法，其特征在于，如果所述當前過濾器處理單元判定不需要構建窗口數據，所述方法還包括：

所述當前過濾器處理單元向下游鏈路傳輸所述控制信號以及所述增量數據的處理結果。

6.一種數據處理裝置，其特征在于，所述數據處理裝置屬于當前過濾器處理單元，所述裝置包括：

接收模塊，用于接收上游過濾器處理單元發送的增量數據以及控制信號，所述控制信號包括所述增量數據對應的起始時間，相鄰過濾器處理單元之間設置有用于傳遞控制信號的控制管道；

判斷模塊，用于判斷是否需要構建窗口數據；

讀取模塊，用于在所述判斷模塊判定需要構建窗口數據時，根據預設窗口大小以及所述起始時間，從本地緩存中讀取歷史窗口數據；

清理模塊，用于根據所述增量數據對應的時間步長，清理所述歷史窗口數據中時間最久的數據，得到所述歷史窗口數據中的保留數據；

構建模塊，用于基于所述保留數據以及所述增量數據，構建新的窗口數據，所述新的窗口數據的窗口大小與所述預設窗口大小相同；

替換模塊，用于利用所述新的窗口數據替換所述本地緩存中的歷史窗口數據。

7.根據權利要求6所述的裝置，其特征在于，

所述判斷模塊，用于在配置有預設標志位時，通過所述預設標志位的狀態判斷是否需要構建窗口數據；

或者，

所述判斷模塊，用于判斷是否配置有所述預設窗口大小；如果配置有所述預設窗口大小，則判定需要構建窗口數據。

8.根據權利要求6所述的裝置，其特征在于，所述當前過濾器處理單元設置有對應的索引文件，則

所述讀取模塊，用于從所述索引文件中讀取所述歷史窗口數據；

所述替換模塊，用于將所述新的窗口數據寫入所述索引文件，替換所述歷史窗口數據。

9.根據權利要求6至8任一項所述的裝置，其特征在于，所述裝置還包括：

傳輸模塊，用于在所述判斷模塊判定不需要構建窗口數據時，向下游鏈路傳輸所述控制信號以及所述增量數據的處理結果。

10.一種數據處理裝置，其特征在于，所述數據處理裝置屬于當前過濾器處理單元，所述裝置包括：

處理器；

用于存儲處理器可執行指令的存儲器；

其中，所述處理器被配置為：

接收上游過濾器處理單元發送的增量數據以及控制信號，所述控制信號包括所述增量數據對應的起始時間，相鄰過濾器處理單元之間設置有用于傳遞控制信號的控制管道；

判斷是否需要構建窗口數據；

如果需要構建窗口數據，則根據預設窗口大小以及所述起始時間，從本地緩存中讀取歷史窗口數據；

根據所述增量數據對應的時間步長，清理所述歷史窗口數據中時間最久的數據，得到所述歷史窗口數據中的保留數據；

基于所述保留數據以及所述增量數據，構建新的窗口數據，并利用所述新的窗口數據替換所述本地緩存中的歷史窗口數據，所述新的窗口數據的窗口大小與所述預設窗口大小相同。