[發明專利]數據處理方法、裝置和電子設備

在審

• 申請號: 202011284034.X
• 申請日: 2020-11-16
• 公開（公告）號: CN112379841A
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 邸鵬;辛波;年彥東
• 申請（專利權）人: 北京金山云網絡技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 榮穎佳

本發明提供了一種數據處理方法、裝置和電子設備，對于除最低層級以外的每個層級的存儲介質，根據獲取到的當前層級的下一層級的存儲介質的IO壓力參數，確定向下一層級的存儲介質存儲的數據量；將當前層級的存儲介質中，該數據量大小的數據存儲至下一層級的存儲介質。該方式中，根據下一層級的存儲介質的IO壓力情況，確定從當前層級的存儲介質向下一層級的存儲介質轉移數據的數據量，當下一層級的存儲介質的IO壓力較大時，為了減少對下一層級的存儲介質的IO占用，可以不向下一層級的存儲介質轉移數據，或者轉移較少數據量的數據，避免數據轉移過多地影響存儲介質的讀寫能力，從而可以提高設備整體的數據存儲吞吐能力。

技術領域

本發明涉及數據處理技術領域，尤其是涉及一種數據處理方法、裝置和電子設備。

背景技術

在具有存儲需求的設備中，往往設置有多種存儲介質，如內存、SSD(Solid StateDisk或Solid State Drive，固態硬盤或固態驅動器)、HDD(Hard Disk Drive，硬盤驅動器)等存儲介質。其中，內存的存儲性能較高但容量小，HDD的存儲性能較低但容量大，SSD的存儲性能和容量均介于內存和HDD之間。相關技術中，為了合理地存儲數據，通常會基于數據的熱度、種類等因素，將數據在各個存儲介質之間進行轉移；在數據轉移過程中，會消耗存儲介質的IO(Input Output，輸入輸出)吞吐資源，由于存儲介質的IO吞吐資源有限，這種轉移數據的方式限制了設備整體的數據存儲吞吐能力。

發明內容

有鑒于此，本發明的目的在于提供一種數據處理方法、裝置和電子設備，以提高設備整體的數據存儲吞吐能力。

第一方面，本發明實施例提供了一種數據處理方法，所述方法應用于安裝有多層級存儲介質的設備；按照層級由高到低的排列順序，各個層級存儲介質的存儲性能依次降低；所述方法包括：對于除最低層級以外的每個層級的存儲介質，獲取當前層級的下一層級的存儲介質的IO壓力參數；所述IO壓力參數用于指示：所述存儲介質的IO接口的數據輸入輸出壓力；根據所述下一層級的存儲介質的IO壓力參數，確定向所述下一層級的存儲介質存儲的數據量；將所述當前層級的存儲介質中，所述數據量大小的數據存儲至所述下一層級的存儲介質。

進一步的，根據所述下一層級的存儲介質的IO壓力參數，確定向所述下一層級的存儲介質存儲的數據量的步驟，包括：如果下一層級的存儲介質的IO壓力參數小于預設的第一參數閾值，確定向所述下一層級的存儲介質存儲數據；如果下一層級的存儲介質的IO壓力參數小于預設的第二參數閾值，將所述第二參數閾值對應的數據量，確定為向所述下一層級的存儲介質存儲的數據量；其中，所述第二參數閾值小于或等于所述第一參數閾值。

進一步的，所述第二參數閾值包括多種；每種所述第二參數閾值對應一種數據量；所述第二參數閾值越小，對應的所述數據量越大。

進一步的，所述方法還包括：如果接收到用戶的數據讀取指令，確定待讀取的目標數據；按照層級由高到低的排列順序，逐一在每個層級的存儲介質中查找所述目標數據，直至查找到所述目標數據；從所述目標數據所在的層級的存儲介質中，讀取所述目標數據至最高層級的存儲介質中，并將所述目標數據返回給所述用戶。

進一步的，將所述當前層級的存儲介質中，所述數據量大小的數據存儲至所述下一層級的存儲介質的步驟，包括：采用順序寫的方式，將所述數據量大小的數據寫入所述下一層級的存儲介質。

進一步的，將所述當前層級的存儲介質中，所述數據量大小的數據存儲至所述下一層級的存儲介質的步驟，包括：采用異步讀寫的方式，將所述數據量大小的數據寫入所述下一層級的存儲介質。

進一步的，所述多層級存儲介質包括內存存儲介質、SSD存儲介質和HDD存儲介質；其中，所述內存存儲介質為最高層級的存儲介質，所述HDD存儲介質為最低層級的存儲介質。