[發明專利]一種數據讀寫性能的優化方法、介質及設備

有效

• 申請號: 201810620713.6
• 申請日: 2018-06-15
• 公開（公告）號: CN108932111B
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 于文淵;周光毅;賈西貝
• 申請（專利權）人: 深圳市華傲數據技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京酷愛智慧知識產權代理有限公司 11514
• 代理人: 占麗君

本發明提供了一種數據讀寫性能的優化方法、介質及設備。所述方法，包括：獲取新數據的寫請求；根據所述寫請求，采用IO調度器，基于預先設置的三級存儲系統，在相應的存儲設備中寫入數據；所述三級存儲系統，包括：一級存儲設備、二級存儲設備和三級存儲設備；所述一級存儲設備為外存；所述二級存儲設備為非易失存儲器；所述三級存儲設備為內存；對所述三級存儲系統中的一級存儲設備和二級存儲設備中存儲的數據進行整合。相較于現有技術中的寫入外存和內存，不僅能夠提高數據讀寫的速度，而且能夠保證數據的持久化，進而優化數據讀寫性能；并且能夠減少一級存儲設備中的碎片量，進而提高數據讀寫性能。

技術領域

本發明涉及計算機技術領域，具體涉及一種數據讀寫性能的優化方法、介質及設備。

背景技術

現有技術中，數據寫操作通常遵循直寫策略，直接寫入永久存儲以保證數據的持久性。典型應用場景如網絡購物中用戶提交的結賬信息需要迅速保存到交易數據庫中，這類交易引起的寫操作可能不足1KB，而典型的數據庫頁面大小為8KB。又如，數據庫對元數據的更新修改也僅涉及少量數據的寫操作，并需要立即存儲到持久設備上。數據寫請求的處理跨越多個層次，從下到上包括：塊設備管理器、IO調度器、文件系統和數據庫管理系統。在寫操作時，每個層次又會產生寫問題，多次直寫，會引起設備性能下降，元數據增加等問題。在讀取數據時，也需要從永久存儲中先復制數據到內存，再從內存中讀取，讀取速度較慢。因此，現有技術中，數據讀寫速度較慢，性能較差。

發明內容

針對現有技術中的缺陷，本發明提供一種數據讀寫性能的優化方法、介質及設備，能夠提高數據讀寫的速度，優化數據讀寫性能。

第一方面，本發明提供了一種數據讀寫性能的優化方法，包括：

獲取新數據的寫請求；

根據所述寫請求，采用IO調度器，基于預先設置的三級存儲系統，在相應的存儲設備中寫入數據；所述三級存儲系統，包括：一級存儲設備、二級存儲設備和三級存儲設備；所述一級存儲設備為外存；所述二級存儲設備為非易失存儲器；所述三級存儲設備為內存；

對所述三級存儲系統中的一級存儲設備和二級存儲設備中存儲的數據進行整合。

可選的，所述根據所述寫請求，采用IO調度器，基于預先設置的三級存儲系統，在相應的存儲設備中寫入數據，包括：

評估所述寫請求中需要寫入的新數據的性能，獲得評估結果；

根據所述評估結果和所述寫請求，采用IO調取器，基于預先設置的三級存儲系統，在相應的存儲設備中寫入新數據。

可選的，所述評估所述寫請求中需要寫入的新數據的性能，獲得評估結果，包括：

評估所述寫請求中需要寫入的新數據的使用價值，以及將所述新數據寫入所述二級存儲設備后的外存碎片量和讀寫性能，獲得評估結果。

可選的，評估所述寫請求中需要寫入的新數據的使用價值，包括：

根據所述寫請求中需要寫入的新數據的讀寫頻率，評估所述新數據的使用價值。

可選的，對所述三級存儲系統中的一級存儲設備和二級存儲設備中存儲的數據進行整合，包括：

周期性地對所述三級存儲系統的數據碎片進行性能評估；

根據性能評估結果，對所述三級存儲系統中的一級存儲設備和二級存儲設備中存儲的數據進行整合。

可選的，對所述三級存儲系統中的一級存儲設備和二級存儲設備中存儲的數據進行整合，包括：

按照預設周期，對所述三級存儲系統中的一級存儲設備和二級存儲設備中存儲的數據進行整合。