[發明專利]一種大批量數據庫讀寫的方法和系統

在審

• 申請號: 201610975499.7
• 申請日: 2016-11-07
• 公開（公告）號: CN108062309A
• 公開（公告）日: 2018-05-22
• 發明（設計）人: 吳鵬
• 申請（專利權）人: 天脈聚源（北京）科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種大批量數據庫讀寫的方法和系統，該方法包括：建立MySQL數據庫基礎數據；采用Redis數據庫建立MySQL數據庫的映射；對Redis數據庫進行讀寫操作；將Redis數據庫內容更新至MySQL數據庫；MySQL數據進行定時更新。本發明技術方案優化了對大批量數據庫讀寫任務的處理策略和流程，協調了數據庫讀寫的協同步驟，降低了整體技術方案的成本，提高了大批量數據庫讀寫的穩定性與可靠性，適應了互聯網技術與市場快速發展的需求。

技術領域

本發明涉及互聯網技術領域，特別涉及一種大批量數據庫讀寫的方法和系統。

背景技術

互聯網發展迅速，已成為人們生活的重要組成部分和人類文明傳播發展的重要載體，滲透到經濟、政治、文化、社會生活各個方面，改變著人們的交往方式和思維方式。無論是在工業領域或者是在社會生活領域，互聯網給人的改變是巨大的。

作為互聯網數據記錄的核心，數據庫也滲透到社會的各個方面，得到廣泛的發展和應用。數據庫是按照一定的結構和規則組織起來的相關數據的集合，是從全局觀點出發建立的，按一定的數據模型進行組織、描述和存儲。其結構基于數據間的自然聯系，從而可提供一切必要的存取路徑，且數據不再針對某一應用，而是面向全組織，具有整體的結構化特征。

數據庫用于數據的存儲和處理，存儲的是屬于企業、事業部門、團體和個人的有關數據的集合，是一個單位或是一個應用領域的通用數據處理系統。數據庫中的數據是為眾多用戶所共享其信息而建立的，已經擺脫了具體程序的限制和制約。不同的用戶可以按各自的用法使用數據庫中的數據；多個用戶可以同時共享數據庫中的數據資源，即不同的用戶可以同時存取數據庫中的同一個數據。數據共享性不僅滿足了各用戶對信息內容的要求，同時也滿足了各用戶之間信息通信的要求。

數據庫是重要的電子資源，是適應互聯網發展的信息技術，具有以下特點：

1)、數據的結構化。數據庫中的數據并不是雜亂無章、毫不相干的，它們具有一定的組織結構，屬于同一集合的數據具有相似的特征。

2)、數據具共享性。在一個單位的各個部門之間，存在著大量的重復信息。使用數據庫的目的就是要統一管理這些信息，減少冗余度，使各個部門共同享有相同的數據。

3)、數據的獨立性。數據的獨立性是指數據記錄和數據管理軟件之間的獨立。數據及其結構應具有獨立性，而不應該去改變應用程序。

4)、數據的完整性。數據的完整性是指保證數據庫中數據的正確性。可能造成數據不正確的原因很多，數據庫管理系統通過對數據性質進行檢查而管理它們。

5)、數據的靈活性。數據庫管理系統不是把數據簡單堆積，它在記錄數據信息的基礎上具有很多的管理功能，如輸入、輸出、查詢、編輯修改等。

6)、數據的安全性。根據用戶的職責，不同級別的人對數據庫具有不同的權限，數據庫管理系統能夠確保數據的安全性。

隨著網絡購物、視頻、微信、搶購、搶紅包等互聯網應用的發展，信息量增長與傳播速度達到了前所未有的高度，產生了許多對數據存取需求，而且該類需求具有大數據量、高并發的技術特點。這就對數據庫構成了巨大的壓力。為了解決大數據量處理任務、高并發數據讀寫請求，基本的方案集中在下列幾種：

1)提高CPU并發計算能力。服務器之所以可以同時處理多個請求，在于操作系統通過多執行流體系設計使得多個任務可以輪流使用系統資源，這些資源包括CPU，內存以及I/O。這里的I/O主要指磁盤I/O和網絡I/O。具體來講，就是采取多進程、多線程、減少進程切換、減少使用不必要的鎖、考慮進程優先級和關注CPU使用率的方法來提高系統資源的利用率。這個方法的缺點在于：當子進程被父進程創建后，進程的創建使用fork()系統調用，需要耗費一定的開銷，這個開銷若太頻繁，可能影響性能。