[發明專利]數據處理方法、裝置、設備、介質及程序產品

在審

• 申請號: 202110200632.2
• 申請日: 2021-02-23
• 公開（公告）號: CN113778326A
• 公開（公告）日: 2021-12-10
• 發明（設計）人: 孟可;彭安;錢熙
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 虞浩;劉芳

本申請提供了一種數據處理方法、裝置、設備、介質及程序產品，通過獲取第一緩存區的容量信息以及數據使用信息，第一緩存區用于存儲數據生成端產生的數據，容量信息用于表示容量的動態使用情況，數據使用信息用于表示數據使用端中各個使用節點對數據的使用情況；根據容量信息以及數據使用信息，將滿足預設轉移條件的數據從第一緩存區轉移到歷史數據存儲區。解決了現有技術中數據生成端以及數據使用端之間的數據傳輸受制于數據處理能力最若的數據使用節點，造成系統整體數據處理能力較低的技術問題。同時可以從歷史數據存儲區調用數據，使得新增數據使用節點更為簡便，也提高了各個數據使用節點的數據安全性。

技術領域

本申請涉及計算機數據處理領域，尤其涉及一種數據處理方法、裝置、設備、介質及程序產品。

背景技術

在計算機數據處理的時候由于數據使用端和數據生成端兩者時間上經常不是同步的，并且兩端的處理速度也不一致，此時就需要一個緩存區來進行數據緩沖，實現非同步的數據傳遞處理。

隨著數據使用端網絡的不斷擴展，就會存在多個使用節點都需要使用緩存區中的數據，但是每個使用節點的處理能力卻不相同。這就使得整個系統的數據處理效率受制于處理速率最低的使用節點，或者簡稱為最短板問題。

在緩存區容量有限的情況下，讓數據生成端以及數據使用端不被數據處理能力最弱的節點限制整體的數據傳輸效率就成為了亟待解決的技術問題。

發明內容

本申請提供一種數據處理方法、裝置、設備、介質及程序產品，以解決現有技術中數據生成端以及數據使用端之間的數據傳輸受制于數據處理能力最若的數據使用節點，造成系統整體數據處理能力較低的技術問題。

第一個方面，本申請提供一種數據處理方法，包括：

獲取第一緩存區的容量信息以及數據使用信息，所述第一緩存區用于存儲數據生成端產生的數據，所述容量信息用于表示容量的動態使用情況，所述數據使用信息用于表示數據使用端中各個使用節點對所述數據的使用情況；

根據所述容量信息以及所述數據使用信息，將滿足預設轉移條件的數據從所述第一緩存區轉移到歷史數據存儲區。

在一種可能的設計中，所述預設轉移條件包括第一轉移條件，所述第一轉移條件用于滿足數據生成端的數據生產效率要求，對應的，所述根據所述容量信息以及所述數據使用信息，將滿足預設轉移條件的數據從所述第一緩存區轉移到歷史數據存儲區，包括：

根據所述容量信息確定剩余容量信息，所述剩余容量信息包括：剩余容量，和/或，所述剩余容量的變化率；

若所述剩余容量小于或等于預設容量閾值，和/或所述變化率大于或等于預設變化閾值，則根據所述數據使用信息，按預設周期將待轉移數據從所述第一緩存區轉移到歷史數據存儲區。

在一種可能的設計中，所述預設轉移條件包括第二轉移條件，所述第二轉移條件用于滿足高速數據使用節點的數據使用要求，所述高速數據使用節點的數據使用速率大于或等于預設速率，對應的，所述根據所述容量信息以及所述數據使用信息，將滿足預設轉移條件的數據從所述第一緩存區轉移到歷史數據存儲區，包括：

根據所述數據使用信息，確定已使用數據的比例，所述已使用數據為被至少一個所述節點使用過的數據；

當所述比例大于或等于預設比例時，若所述已使用數據的使用次數大于或等于預設使用次數，則根據所述數據使用信息，將待轉移數據從所述第一緩存區轉移到歷史數據存儲區。

可選的，所述待轉移數據包括已使用數據，所述已使用數據為被至少一個所述節點使用過的數據。

可選的，所述待轉移數據包括所有所述第一緩存區中的數據。