[發(fā)明專利]一種數(shù)據(jù)讀寫方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201711085850.6
• 申請日: 2017-11-07
• 公開（公告）號: CN107885824A
• 公開（公告）日: 2018-04-06
• 發(fā)明（設(shè)計(jì)）人: 謝永恒;周書平;火一莽;萬月亮
• 申請（專利權(quán)）人: 北京銳安科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京品源專利代理有限公司11332
• 代理人: 孟金喆

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及互聯(lián)網(wǎng)技術(shù)，尤其涉及一種數(shù)據(jù)讀寫方法及系統(tǒng)。

背景技術(shù)

隨著互聯(lián)網(wǎng)的普及，進(jìn)行互聯(lián)網(wǎng)訪問的用戶日益增多。互聯(lián)網(wǎng)系統(tǒng)的開放性特點(diǎn)，決定了互聯(lián)網(wǎng)企業(yè)設(shè)計(jì)的系統(tǒng)需要支持所有人的連接與訪問。

對于一般的互聯(lián)網(wǎng)企業(yè)而言，搭建出安全可靠且滿足業(yè)務(wù)應(yīng)用的底層存取架構(gòu)是非常重要的，這影響著所設(shè)計(jì)的系統(tǒng)可支持的用戶訪問量。Mysql(My Structured Query Language)作為一個關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，具有開源與穩(wěn)定的特點(diǎn)。大多數(shù)企業(yè)在開發(fā)系統(tǒng)的過程中出于技術(shù)和成本等方面的考慮，選擇將Mysql用于底層構(gòu)架，進(jìn)行數(shù)據(jù)讀寫。但是，在目前互聯(lián)網(wǎng)環(huán)境下，Mysql的缺點(diǎn)也是顯而易見的。首先，作為傳統(tǒng)的關(guān)系型數(shù)據(jù)庫，存儲數(shù)據(jù)的強(qiáng)一致性會引起訪問延遲，直接影響了用戶的訪問速度；其次，在數(shù)據(jù)量相對較大時，Mysql以行為單位的扁平式存儲結(jié)構(gòu)特點(diǎn)不利于對數(shù)據(jù)的讀取，增加數(shù)據(jù)讀取的困難。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種數(shù)據(jù)讀寫方法及系統(tǒng)，以提高互聯(lián)網(wǎng)數(shù)據(jù)并發(fā)訪問的速度，降低企業(yè)研發(fā)的成本。

第一方面，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)讀寫方法，該方法包括：

將數(shù)據(jù)寫入存儲層數(shù)據(jù)庫，更新存儲層中預(yù)先建立的數(shù)據(jù)狀態(tài)表，其中，所述數(shù)據(jù)狀態(tài)表中記載所述存儲層數(shù)據(jù)庫中數(shù)據(jù)的狀態(tài)；

利用預(yù)定義的同步數(shù)據(jù)工具監(jiān)聽所述數(shù)據(jù)狀態(tài)表，在監(jiān)聽到數(shù)據(jù)的狀態(tài)發(fā)生變化時，則將所述存儲層數(shù)據(jù)庫中狀態(tài)發(fā)生變化的數(shù)據(jù)更新至訪問層數(shù)據(jù)庫；

響應(yīng)數(shù)據(jù)訪問請求，讀取所述訪問層數(shù)據(jù)庫中的數(shù)據(jù)。

進(jìn)一步地，所述將所述存儲層數(shù)據(jù)庫中狀態(tài)發(fā)生變化的數(shù)據(jù)更新至訪問層數(shù)據(jù)庫，包括：

將所述存儲層數(shù)據(jù)庫中狀態(tài)發(fā)生變化的數(shù)據(jù)中增量的熱度數(shù)據(jù)更新至所述訪問層數(shù)據(jù)庫，其中，所述熱度數(shù)據(jù)是根據(jù)來自訪問層的數(shù)據(jù)訪問量反饋信息判斷出的訪問量大的數(shù)據(jù)。

進(jìn)一步地，所述將所述存儲層數(shù)據(jù)庫中狀態(tài)發(fā)生變化的數(shù)據(jù)更新至訪問層數(shù)據(jù)庫，包括：

將所述存儲層數(shù)據(jù)庫中狀態(tài)發(fā)生變化的數(shù)據(jù)加載至所述同步數(shù)據(jù)工具的隊(duì)列中，并清除所述數(shù)據(jù)狀態(tài)表中對應(yīng)數(shù)據(jù)的狀態(tài)；

將所述隊(duì)列中的數(shù)據(jù)采用異步更新的方式更新至所述訪問層數(shù)據(jù)庫。

進(jìn)一步地，所述利用預(yù)定義的同步數(shù)據(jù)工具監(jiān)聽所述數(shù)據(jù)狀態(tài)表，包括：

利用所述預(yù)定義的同步數(shù)據(jù)工具主動監(jiān)聽所述數(shù)據(jù)狀態(tài)表，其中所述主動監(jiān)聽是通過所述同步數(shù)據(jù)工具在所述將數(shù)據(jù)寫入存儲層數(shù)據(jù)庫時接收所述存儲層的更新提示信息實(shí)現(xiàn)；

和/或

利用所述預(yù)定義的同步數(shù)據(jù)工具被動監(jiān)聽所述數(shù)據(jù)狀態(tài)表，其中所述被動監(jiān)聽是通過所述同步數(shù)據(jù)工具在預(yù)設(shè)時間內(nèi)檢測所述數(shù)據(jù)狀態(tài)表實(shí)現(xiàn)。

進(jìn)一步地，所述存儲層數(shù)據(jù)庫包括Mysql數(shù)據(jù)庫；所述訪問層數(shù)據(jù)庫包括Redis數(shù)據(jù)庫。

第二方面，本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)讀寫系統(tǒng)，該系統(tǒng)包括：

寫入模塊，用于將數(shù)據(jù)寫入存儲層數(shù)據(jù)庫，更新存儲層中預(yù)先建立的數(shù)據(jù)狀態(tài)表，其中，所述數(shù)據(jù)狀態(tài)表中記載所述存儲層數(shù)據(jù)庫中數(shù)據(jù)的狀態(tài)；

更新模塊，用于利用預(yù)定義的同步數(shù)據(jù)工具監(jiān)聽所述數(shù)據(jù)狀態(tài)表，在監(jiān)聽到數(shù)據(jù)的狀態(tài)發(fā)生變化時，則將所述存儲層數(shù)據(jù)庫中狀態(tài)發(fā)生變化的數(shù)據(jù)更新至訪問層數(shù)據(jù)庫；

讀取模塊，用于響應(yīng)數(shù)據(jù)訪問請求，讀取所述訪問層數(shù)據(jù)庫中的數(shù)據(jù)。

進(jìn)一步地，所述更新模塊用于：

將所述存儲層數(shù)據(jù)庫中狀態(tài)發(fā)生變化的數(shù)據(jù)中增量的熱度數(shù)據(jù)更新至所述訪問層數(shù)據(jù)庫，其中，所述熱度數(shù)據(jù)是根據(jù)來自訪問層的數(shù)據(jù)訪問量反饋信息判斷出的訪問量大的數(shù)據(jù)。

進(jìn)一步地，所述更新模塊包括：

監(jiān)聽單元，用于利用所述預(yù)定義的同步數(shù)據(jù)工具監(jiān)聽所述數(shù)據(jù)狀態(tài)表；

加載單元，用于在監(jiān)聽到數(shù)據(jù)的狀態(tài)發(fā)生變化時，則將所述存儲層數(shù)據(jù)庫中狀態(tài)發(fā)生變化的數(shù)據(jù)加載至所述同步數(shù)據(jù)工具的隊(duì)列中，并清除所述數(shù)據(jù)狀態(tài)表中對應(yīng)數(shù)據(jù)的狀態(tài)；

第一更新單元，用于將所述隊(duì)列中的數(shù)據(jù)采用異步更新的方式更新至所述訪問層數(shù)據(jù)庫。

進(jìn)一步地，所述更新模塊包括：

主動監(jiān)聽單元，用于利用所述預(yù)定義的同步數(shù)據(jù)工具主動監(jiān)聽所述數(shù)據(jù)狀態(tài)表，其中所述主動監(jiān)聽是通過所述同步數(shù)據(jù)工具在所述將數(shù)據(jù)寫入存儲層數(shù)據(jù)庫時接收所述存儲層的更新提示信息實(shí)現(xiàn)；

和/或