[發(fā)明專利]一種支付系統(tǒng)根據(jù)訂單時(shí)間進(jìn)行數(shù)據(jù)冷熱分離方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110305798.0
• 申請日: 2021-03-19
• 公開（公告）號: CN113010558A
• 公開（公告）日: 2021-06-22
• 發(fā)明（設(shè)計(jì)）人: 劉德建;葉偉;陳宏展
• 申請（專利權(quán)）人: 福建天晴在線互動(dòng)科技有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455
• 代理公司: 福州旭辰知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 35233
• 代理人: 程勇

本發(fā)明提供了一種支付系統(tǒng)根據(jù)訂單時(shí)間進(jìn)行數(shù)據(jù)冷熱分離方法，所述方法為：步驟S1、對支付系統(tǒng)訂單數(shù)據(jù)庫中的訂單數(shù)據(jù)進(jìn)行設(shè)定為冷數(shù)據(jù)或者熱數(shù)據(jù)；步驟S2、設(shè)定一個(gè)定時(shí)任務(wù)，觸發(fā)冷熱數(shù)據(jù)分離；步驟S3、設(shè)定一冷數(shù)據(jù)庫，將支付系統(tǒng)訂單數(shù)據(jù)庫中標(biāo)記為冷數(shù)據(jù)的訂單數(shù)據(jù)移入到冷數(shù)據(jù)庫中；步驟S4、在訂單查詢頁中進(jìn)行冷熱數(shù)據(jù)的查詢使用；該方法提高了查詢的效率。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)存儲(chǔ)技術(shù)領(lǐng)域，特別是一種支付系統(tǒng)根據(jù)訂單時(shí)間進(jìn)行數(shù)據(jù)冷熱分離方法及系統(tǒng)。

背景技術(shù)

支付系統(tǒng)有一個(gè)訂單查詢功能，隨著時(shí)間的推移訂單表有千萬的數(shù)據(jù)量，加上關(guān)聯(lián)表，數(shù)據(jù)量達(dá)到上億。上億數(shù)據(jù)量查詢效率變得十分低下，還有可能造成數(shù)據(jù)庫死鎖的風(fēng)險(xiǎn)?，F(xiàn)有技術(shù)可以通過優(yōu)化表結(jié)構(gòu)、梳理業(yè)務(wù)代碼、增加數(shù)據(jù)庫索引等辦法來提高響應(yīng)速度，但這些方法治標(biāo)不治本，可能提高目前這個(gè)數(shù)據(jù)量級的查詢速度，但隨著業(yè)務(wù)發(fā)展，數(shù)據(jù)還會(huì)繼續(xù)增加，最終還是回到查詢緩慢的狀態(tài)。雖然常規(guī)根據(jù)月份來分庫分表也是一種處理大數(shù)據(jù)量的設(shè)計(jì)方案，但是可能使熱數(shù)據(jù)的查詢復(fù)雜化，例如查詢3個(gè)月內(nèi)的訂單，可能要跨3個(gè)數(shù)據(jù)庫表，查詢效率低。

發(fā)明內(nèi)容

為克服上述問題，本發(fā)明的目的是提供一種支付系統(tǒng)根據(jù)訂單時(shí)間進(jìn)行數(shù)據(jù)冷熱分離方法，根據(jù)訂單時(shí)間維度進(jìn)行數(shù)據(jù)冷熱分離，有效解決訂單系統(tǒng)數(shù)據(jù)量增長后導(dǎo)致的查詢效率低下問題。

本發(fā)明采用以下方案實(shí)現(xiàn)：一種支付系統(tǒng)根據(jù)訂單時(shí)間進(jìn)行數(shù)據(jù)冷熱分離方法，所述方法包括如下步驟：

步驟S1、對支付系統(tǒng)訂單數(shù)據(jù)庫中的訂單數(shù)據(jù)進(jìn)行設(shè)定為冷數(shù)據(jù)或者熱數(shù)據(jù)；

步驟S2、設(shè)定一個(gè)定時(shí)任務(wù)，觸發(fā)冷熱數(shù)據(jù)分離；

步驟S3、設(shè)定一冷數(shù)據(jù)庫，將支付系統(tǒng)訂單數(shù)據(jù)庫中標(biāo)記為冷數(shù)據(jù)的訂單數(shù)據(jù)移入到冷數(shù)據(jù)庫中；

步驟S4、在訂單查詢頁中進(jìn)行冷熱數(shù)據(jù)的查詢使用。

進(jìn)一步的，所述步驟S1進(jìn)一步具體為：根據(jù)支付系統(tǒng)的業(yè)務(wù)場景，在設(shè)定時(shí)間內(nèi)的訂單存在90%以上的查詢量，則被標(biāo)識(shí)為熱數(shù)據(jù)，否則，大于設(shè)定時(shí)間的訂單數(shù)據(jù)被標(biāo)識(shí)為冷數(shù)據(jù)，如果訂單數(shù)據(jù)被標(biāo)識(shí)為冷數(shù)據(jù)，則業(yè)務(wù)代碼不會(huì)再對冷數(shù)據(jù)進(jìn)行寫操作。

進(jìn)一步的，所述步驟S2進(jìn)一步具體為：設(shè)定一個(gè)定時(shí)任務(wù)，在支付系統(tǒng)訪問低谷期的時(shí)間段定掃描訂單數(shù)據(jù)庫，掃面訂單數(shù)據(jù)中的冷數(shù)據(jù)，并將大于所述設(shè)定時(shí)間內(nèi)的冷數(shù)據(jù)增加需要移動(dòng)的標(biāo)記，即move_flag=1。

進(jìn)一步的，所述步驟S3進(jìn)一步具體包括：步驟S31、讀取已經(jīng)標(biāo)記好的move_flag=1的訂單數(shù)據(jù)，即為所有需要分離的數(shù)據(jù)；

步驟S32、在冷數(shù)據(jù)庫中插入move_flag=1的訂單數(shù)據(jù)，插入冷數(shù)據(jù)庫前需要對訂單號進(jìn)行冪等性校驗(yàn)，以保證沒有重復(fù)插入數(shù)據(jù)；

步驟S33、從訂單數(shù)據(jù)庫中刪除被成功移入冷數(shù)據(jù)庫的訂單數(shù)據(jù)。

進(jìn)一步的，所述步驟S4進(jìn)一步具體為：在訂單查詢頁進(jìn)行數(shù)據(jù)查詢，先會(huì)根據(jù)查詢條件讀取支付系統(tǒng)的redis緩存，如果redis緩存不存在要查詢的數(shù)據(jù)，則會(huì)直接查詢訂單數(shù)據(jù)庫，僅查詢所述設(shè)定時(shí)間以內(nèi)的訂單數(shù)據(jù)，把得到的數(shù)據(jù)存入redis緩存，以便下次查詢；如果要查詢所述設(shè)定時(shí)間之前的訂單數(shù)據(jù)，則需要進(jìn)入歷史訂單查詢頁面，在歷史訂單查詢頁面，會(huì)把查詢指向冷數(shù)據(jù)庫，在冷數(shù)據(jù)庫中進(jìn)行查詢。

本發(fā)明還提供了一種支付系統(tǒng)根據(jù)訂單時(shí)間進(jìn)行數(shù)據(jù)冷熱分離系統(tǒng)，所述系統(tǒng)包括數(shù)據(jù)判定模塊、創(chuàng)建任務(wù)模塊、數(shù)據(jù)分離模塊、以及查詢模塊；

所述數(shù)據(jù)判定模塊，用于對支付系統(tǒng)訂單數(shù)據(jù)庫中的訂單數(shù)據(jù)進(jìn)行設(shè)定為冷數(shù)據(jù)或者熱數(shù)據(jù)；

所述創(chuàng)建任務(wù)模塊，用于設(shè)定一個(gè)定時(shí)任務(wù)，觸發(fā)冷熱數(shù)據(jù)分離；

所述數(shù)據(jù)分離模塊，設(shè)定一冷數(shù)據(jù)庫，將支付系統(tǒng)訂單數(shù)據(jù)庫中標(biāo)記為冷數(shù)據(jù)的訂單數(shù)據(jù)移入到冷數(shù)據(jù)庫中；

所述查詢模塊，用于在訂單查詢頁中進(jìn)行冷熱數(shù)據(jù)的查詢使用。