[發明專利]大數據環境下提高數據庫性能的方法及系統

有效

• 申請號: 201410338440.8
• 申請日: 2014-07-16
• 公開（公告）號: CN104156396B
• 公開（公告）日: 2017-12-01
• 發明（設計）人: 唐雪飛;邊湯貴;廖明焱;倪季敏;馬晨曦
• 申請（專利權）人: 成都康賽信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 成都宏順專利代理事務所(普通合伙)51227
• 代理人: 周永宏

技術領域

本發明屬于數據庫管理技術領域，尤其涉及一種大數據環境下提高數據庫性能的方法及系統。

背景技術

數據庫是按照數據結構來組織、存儲和管理數據的倉庫，簡單來說是本身可視為電子化的文件柜——存儲電子文件的處所，用戶可以對文件中的數據進行新增、截取、更新、刪除等操作。數據庫指的是以一定方式儲存在一起、能為多個用戶共享、具有盡可能小的冗余度、與應用程序彼此獨立的數據集合。數據庫的主要特點有：(1)實現數據共享，數據共享包含所有用戶可同時存取數據庫中的數據，也包括用戶可以用各種方式通過接口使用數據庫，并提供數據共享；(2)減少數據的冗余度，同文件系統相比，由于數據庫實現了數據共享，從而避免了用戶各自建立應用文件。減少了大量重復數據，減少了數據冗余，維護了數據的一致性；(3)數據的獨立性，數據的獨立性包括邏輯獨立性(數據庫中數據庫的邏輯結構和應用程序相互獨立)和物理獨立性(數據物理結構的變化不影響數據的邏輯結構)；(4)數據實現集中控制，文件管理方式中，數據處于一種分散的狀態，不同的用戶或同一用戶在不同處理中其文件之間毫無關系。利用數據庫可對數據進行集中控制和管理，并通過數據模型表示各種數據的組織以及數據間的聯系；(5)數據一致性和可維護性，以確保數據的安全性和可靠性，主要包括：①安全性控制：以防止數據丟失、錯誤更新和越權使用；②完整性控制：保證數據的正確性、有效性和相容性；③并發控制：使在同一時間周期內，允許對數據實現多路存取，又能防止用戶之間的不正常交互作用；(6)故障恢復，由數據庫管理系統提供一套方法，可及時發現故障和修復故障，從而防止數據被破壞。數據庫系統能盡快恢復數據庫系統運行時出現的故障，可能是物理上或是邏輯上的錯誤。比如對系統的誤操作造成的數據錯誤等。數據庫是一個單位或是一個應用領域的通用數據處理系統，它存儲的是屬于企業和事業部門、團體和個人的有關數據的集合。數據庫中的數據是從全局觀點出發建立的，按一定的數據模型進行組織、描述和存儲。其結構基于數據間的自然聯系，從而可提供一切必要的存取路徑，且數據不再針對某一應用，而是面向全組織，具有整體的結構化特征。數據庫中的數據是為眾多用戶所共享其信息而建立的，已經擺脫了具體程序的限制和制約。不同的用戶可以按各自的用法使用數據庫中的數據；多個用戶可以同時共享數據庫中的數據資源，即不同的用戶可以同時存取數據庫中的同一個數據。數據共享性不僅滿足了各用戶對信息內容的要求，同時也滿足了各用戶之間信息通信的要求。在經濟管理的日常工作中，常常需要把某些相關的數據放進這樣的“倉庫”，并根據管理的需要進行相應的處理。數據庫有很多種類型，從最簡單的存儲有各種數據的表格到能夠進行海量數據存儲的大型數據庫系統都在各個方面得到了廣泛的應用。在設計數據庫時，必須確保數據庫快速而正確地執行所有重要的函數。某些性能問題可以在數據庫投入使用之后進行解決。但是，其他性能問題則可能是由于數據庫設計較差導致的，并且只能通過更改數據庫的結構和設計來解決。在設計和實施數據庫時，應該標識出數據庫中較大的表和數據庫將要執行的較為復雜的進程。在設計這些表時，還應專門考慮其性能問題。此外，還應考慮能訪問數據庫的用戶數的增加對性能的影響。隨著信息化的快速發展，企業或單位的數據出現了越來越快的增長。當出現高峰時，出現了數據響應越來越慢，需求消耗越來越多的情況。而用戶對數據的響應速度隨著科學技術的發展，也有了新的更高要求。目前普遍的做法是從改變數據庫結構入手，部署或租用更高性能的數據庫系統，包括流行的分布式數據庫或者集群數據庫。這種做法需要大量的人力、物力、財力投入，并且維護費用昂貴，如果采用租用方式則保密性較差。對于查詢，傳統的方式是直接從數據庫表進行操作。包括插入，查詢。當出現頻繁插入更新操作時，數據庫性能就會顯著下降。而查詢操作則會因為數據或記錄的增多而越來越緩慢，從而使用戶體受到影響。

發明內容

為了解決以上問題，本發明提出了一種大數據環境下提高數據庫性能的方法及系統。

本發明的技術方案是：大數據環境下提高數據庫性能的方法，包括如下步驟：

S1.定義數據庫結構；

S2.將數據插入數據庫；

S3.刪除數據庫數據記錄；

S4.更新數據庫數據；

S5.查詢數據庫數據；

S6.歸并數據庫主從表；

其中，所述步驟S2將數據插入數據庫具體包括如下分步驟：

S201.插入數據到達后進行數據插入操作；

S202.將數據寫入從緩存；

S203.在數據寫入從緩存時寫入主表字段、數據寫入時間字段和是否已存入主表字段，并將是否已存入主表字段置為0；