[發明專利]數據資源分配處理方法、裝置、設備及存儲介質

有效

• 申請號: 202110598937.3
• 申請日: 2021-05-31
• 公開（公告）號: CN113239060B
• 公開（公告）日: 2023-09-29
• 發明（設計）人: 李博
• 申請（專利權）人: 康鍵信息技術（深圳）有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/242;G06F16/2455;G06F16/27;G06F16/22;G06F9/50
• 代理公司: 北京市京大律師事務所 11321
• 代理人: 姚維

本發明涉及大數據技術領域，應用于智慧醫療領域中，公開了一種數據資源分配處理方法、裝置、設備及存儲介質，用于提高數據處理流程的規范性。數據資源分配處理方法包括：通過對初始運行資源與預設的分布式系統建立資源隊列映射關系，得到目標運行資源；對目標應用分配目標運行資源；對目標應用設置目標業務流程，按照預設的權限策略對目標業務流程設置目標數據任務，對目標數據任務進行任務共享；通過目標數據任務對預設的各數據層進行實時數據挖掘處理，并在目標應用對應的工作空間下生成各數據層對應的目標數據表，對各數據層對應的目標數據表進行數據共享。此外，本發明還涉及區塊鏈技術，目標數據表可存儲于區塊鏈節點中。

技術領域

本發明涉及大數據的資源分配領域，尤其涉及一種數據資源分配處理方法、裝置、設備及存儲介質。

背景技術

目前市場大數據產品眾多，針對實時數據處理包括實時流式處理框架，實時流式處理框架包括storm、spark?stream、flink等框架。大多公司都在這些框架上建立實時數據處理平臺。

現有的實時數據處理平臺具備按照多租戶實現資源隔離和資源管控能力，但是由于對接多數據源，數據處理流程存在多樣化，使得實時數據處理平臺構建數倉體系分層時，存在數據處理流程規范性差，以及數據資產可讀性和復用性差的問題。

發明內容

本發明提供了一種數據資源分配處理方法、裝置、設備及存儲介質，用于提高數據處理流程的規范性，以及數據資產的可讀性和復用性。

為實現上述目的，本發明第一方面提供了一種數據資源分配處理方法，包括：接收資源配置請求，按照所述資源配置請求生成初始運行資源，對所述初始運行資源與預設的分布式系統建立資源隊列映射關系，得到目標運行資源，所述目標運行資源具有唯一的目標租戶標識；接收應用創建請求，按照所述應用創建請求生成目標應用，并根據應用標識和所述目標租戶標識對所述目標應用分配所述目標運行資源，所述目標應用具有唯一的應用標識和唯一的工作空間，所述工作空間用于指示按照文檔對象的方式分別對各數據表、各數據任務、各數據組件和各數據函數存儲定義；接收業務流程生成請求，根據所述業務流程生成請求對所述目標應用設置目標業務流程，按照預設的權限策略對所述目標業務流程設置目標數據任務，當開啟數據共享任務時，對所述目標數據任務進行任務共享；基于所述目標運行資源運行所述目標數據任務，通過所述目標數據任務對預設的各數據層進行實時數據挖掘處理，并在所述目標應用對應的工作空間下生成各數據層對應的目標數據表，當開啟數據共享任務時，對各數據層對應的目標數據表進行數據共享，各數據層對應的目標數據表包括數據源表、維度表和數據結果表。

可選的，在本發明第一方面的第一種實現方式中，所述接收資源配置請求，按照所述資源配置請求生成初始運行資源，對所述初始運行資源與預設的分布式系統建立資源隊列映射關系，得到目標運行資源，所述目標運行資源具有唯一的目標租戶標識，包括：接收資源配置請求，對所述資源配置請求進行參數解析，得到目標租戶標識、待分配資源信息和隊列標識；按照所述目標租戶標識查詢預設的資源配置信息，得到查詢數據；若所述查詢數據不為空值，則根據所述待分配資源信息和所述查詢數據配置初始運行資源；若所述查詢數據為空值，則按照所述待分配資源信息劃分預設的計算資源，得到初始運行資源，并將所述目標租戶標識和所述初始運行資源映射存儲至預設的資源分配數據表中；按照所述目標租戶標識和所述隊列標識對所述初始運行資源和預設的分布式系統建立資源隊列映射關系，得到目標運行資源，所述目標運行資源具有唯一的目標租戶標識。

可選的，在本發明第一方面的第二種實現方式中，所述若所述查詢數據不為空值，則根據所述待分配資源信息和所述查詢數據配置初始運行資源，包括：若所述查詢數據不為空值，則判斷所述待分配資源信息和所述查詢數據是否一致；若所述待分配資源信息和所述查詢數據一致，則確定所述查詢數據為初始運行資源；若所述待分配資源信息和所述查詢數據不一致，則根據所述待分配資源信息進行擴容或縮容處理，得到初始運行資源，并按照所述目標租戶標識將所述初始運行資源更新至所述預設的資源分配數據表中。