[發明專利]一種資源數據的處理方法及裝置、電子設備、存儲介質

在審

• 申請號: 202211250535.5
• 申請日: 2022-10-12
• 公開（公告）號: CN115604282A
• 公開（公告）日: 2023-01-13
• 發明（設計）人: 陳文海;汪來富;劉東鑫;盧夢予
• 申請（專利權）人: 中國電信股份有限公司
• 主分類號: H04L67/1074
• 分類號: H04L67/1074;H04L67/06;H04L67/60;H04L69/04
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 孫寶海

本申請公開了一種資源數據的處理方法及裝置、電子設備、存儲介質，該方法包括：若接收到的資源請求所請求的數據量超過預設數量閾值，則獲取后臺針對處理任務的資源使用數據；根據資源使用數據，檢測后臺處理任務的資源與資源請求所需資源的關系；若關系表征后臺處理任務的資源小于資源請求所需資源，則對資源請求對應的任務進行分批次處理，得到多個處理文件并發送至資源請求對應的發起方。本申請針對請求數據量超過預設數量閾值的資源請求，通過實時監聽后臺的資源使用數據，對資源請求對應的任務進行分批次處理，保證了所請求數據的完整性，同時避免了后臺因加載大量數據導致資源溢出，從而影響系統穩定性的情況。

技術領域

本申請涉及數據處理技術領域，尤其涉及一種資源數據的處理方法及裝置、電子設備、存儲介質。

背景技術

在大數據管理平臺中，常常需要基于資源請求進行不同的數據導出，以此實現雙向通信。而當資源請求所請求導出的是大批量數據時，后臺需消耗長時間計算和占用大量內存資源，造成用戶長時間等待甚至超時，大量加載數據到內存還會導致內存溢出，導致系統性能不穩定。

發明內容

為解決上述技術問題，本申請的實施例提供了一種資源數據的處理方法及裝置、電子設備、計算機可讀存儲介質、計算機程序產品。

根據本申請實施例的一個方面，提供了一種資源數據的處理方法，包括：

若接收到的資源請求所請求的數據量超過預設數量閾值，則獲取后臺針對處理任務的資源使用數據；根據所述資源使用數據，檢測所述后臺處理任務的資源與所述資源請求所需資源的關系；若所述關系表征所述后臺處理任務的資源小于所述資源請求所需資源，則對所述資源請求對應的任務進行分批次處理，得到多個處理文件；將所述多個處理文件發送至所述資源請求對應的發起方。

根據本申請實施例的一個方面，一種資源數據的處理裝置，包括：獲取單元，用于若接收到的資源請求所請求的數據量超過預設數量閾值，則獲取后臺針對處理任務的資源使用數據；檢測單元，用于根據所述資源使用數據，檢測所述后臺處理任務的資源與所述資源請求所需資源的關系；分批單元，用于若所述關系表征所述后臺處理任務的資源小于所述資源請求所需資源，則對所述資源請求對應的任務進行分批次處理，得到多個處理文件；反饋單元，用于將所述多個處理文件發送至所述資源請求對應的發起方。

在另一示例性實施例中，所述資源使用數據包括后臺的總資源和當前處理任務被占用的資源；所述根據所述資源使用數據，檢測所述后臺處理任務的資源與所述資源請求所需資源的關系，包括：基于所述總資源和所述被占用的資源得到當前可用資源；檢測所述可用資源與所述資源請求所需資源的關系。

在另一示例性實施例中，所述檢測所述可用資源與所述資源請求所需資源的關系，包括：對所述可用資源的資源量進行調整，得到目標資源量閾值；其中，所述目標資源閾值小于所述可用資源的資源量；獲取所述資源請求所需資源的資源量；檢測所述目標資源量閾值與所述資源請求所需資源的資源量的關系。

在另一示例性實施例中，所述可用資源為可用內存，所述資源請求中攜帶有查詢參數；所述檢測所述可用資源與所述資源請求所需資源的關系，包括：從數據庫中查詢與所述查詢參數相匹配的待導出數據，以及從所述數據庫中確定單條數據所占的空間大?。换谒龃龑С鰯祿臄祿亢退鰡螚l數據所占的空間大小，得到所述資源請求的空間需求量；檢測所述可用內存與所述空間需求量之間的大小關系。

在另一示例性實施例中，所述可用資源為可用內存，所述資源請求所需資源為空間需求量；所述對所述資源請求對應的任務進行分批次處理，得到多個處理文件，包括：基于所述可用內存對所述空間需求量進行劃分，得到多個子空間需求量；將所述資源請求所對應的待導出數據按照多個所述子空間需求量進行分批次處理，得到所述多個處理文件。