[發(fā)明專利]一種數(shù)據(jù)存儲方法、裝置、設(shè)備及介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011604133.1
• 申請日: 2020-12-29
• 公開（公告）號: CN112527911B
• 公開（公告）日: 2022-12-02
• 發(fā)明（設(shè)計）人: 李曉雪
• 申請（專利權(quán)）人: 上海銷氪信息科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/2455;G06F16/23
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 巴翠昆

本申請公開了一種數(shù)據(jù)存儲方法、裝置、設(shè)備及介質(zhì)，包括：獲取數(shù)據(jù)寫入請求；其中，所述寫入請求攜帶寫入數(shù)據(jù)；將所述寫入數(shù)據(jù)寫入預(yù)設(shè)mysql數(shù)據(jù)庫；若成功寫入到所述預(yù)設(shè)mysql數(shù)據(jù)庫，則將所述寫入數(shù)據(jù)寫入預(yù)設(shè)elasticsearch數(shù)據(jù)庫；若寫入到所述預(yù)設(shè)elasticsearch數(shù)據(jù)庫失敗，則將所述預(yù)設(shè)mysql數(shù)據(jù)庫中對應(yīng)的所述寫入數(shù)據(jù)刪除，若刪除失敗，則記錄對應(yīng)的失敗信息；定時基于所述失敗信息將所述預(yù)設(shè)mysql數(shù)據(jù)庫中的所述寫入數(shù)據(jù)同步至所述預(yù)設(shè)elasticsearch數(shù)據(jù)庫；當(dāng)獲取到數(shù)據(jù)讀取請求，則基于所述預(yù)設(shè)elasticsearch數(shù)據(jù)庫進(jìn)行數(shù)據(jù)檢索。能夠保障數(shù)據(jù)的完整性和一致性，并提升對數(shù)據(jù)的檢索能力。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)存儲技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)存儲方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)

在現(xiàn)有技術(shù)中，主流的數(shù)據(jù)庫包括關(guān)系型數(shù)據(jù)庫、列存儲數(shù)據(jù)庫以及面向文檔的數(shù)據(jù)庫，其中，關(guān)系型數(shù)據(jù)庫模型是把復(fù)雜的數(shù)據(jù)結(jié)構(gòu)歸結(jié)為簡單的二元關(guān)系。在關(guān)系型數(shù)據(jù)庫中，對數(shù)據(jù)的操作幾乎全部建立在一個或多個關(guān)系表格上，通過對這些關(guān)聯(lián)的表格分類、合并、連接或選取等運(yùn)算來實(shí)現(xiàn)數(shù)據(jù)庫的管理。列存儲數(shù)據(jù)庫將數(shù)據(jù)存儲在列族中，一個列族存儲經(jīng)常被一起查詢的相關(guān)數(shù)據(jù)，占用內(nèi)存很大，且鑒于建立在為批量分析而優(yōu)化的HDFS(即Hadoop Distributed File System，分布式文件系統(tǒng))上，導(dǎo)致讀取性能不高，API(即Application Programming Interface，應(yīng)用程序接口)相比其它數(shù)據(jù)庫相對笨拙。而面向文檔數(shù)據(jù)庫以文檔形式存儲對于事務(wù)的支持不夠友好，存儲空間較大。綜上，現(xiàn)有的數(shù)據(jù)存儲方法，多采用關(guān)系型數(shù)據(jù)庫橫縱表，檢索能力差，對于大數(shù)據(jù)量的存儲也有瓶頸；nosql對事務(wù)的支持不夠友好，數(shù)據(jù)的完整性和一致性較差。

發(fā)明內(nèi)容

有鑒于此，本申請的目的在于提供一種數(shù)據(jù)存儲方法、裝置、設(shè)備及介質(zhì)，能夠保障數(shù)據(jù)的完整性和一致性，并提升對數(shù)據(jù)的檢索能力。其具體方案如下：

第一方面，本申請公開了一種數(shù)據(jù)存儲方法，包括：

獲取數(shù)據(jù)寫入請求；其中，所述寫入請求攜帶寫入數(shù)據(jù)；

將所述寫入數(shù)據(jù)寫入預(yù)設(shè)mysql數(shù)據(jù)庫；

若成功寫入到所述預(yù)設(shè)mysql數(shù)據(jù)庫，則將所述寫入數(shù)據(jù)寫入預(yù)設(shè)elasticsearch數(shù)據(jù)庫；

若寫入到所述預(yù)設(shè)elasticsearch數(shù)據(jù)庫失敗，則將所述預(yù)設(shè)mysql數(shù)據(jù)庫中對應(yīng)的所述寫入數(shù)據(jù)刪除，若刪除失敗，則記錄對應(yīng)的失敗信息；

定時基于所述失敗信息將所述預(yù)設(shè)mysql數(shù)據(jù)庫中的所述寫入數(shù)據(jù)同步至所述預(yù)設(shè)elasticsearch數(shù)據(jù)庫；

當(dāng)獲取到數(shù)據(jù)讀取請求，則基于所述預(yù)設(shè)elasticsearch數(shù)據(jù)庫進(jìn)行數(shù)據(jù)檢索。

可選的，所述定時基于所述失敗信息將所述預(yù)設(shè)mysql數(shù)據(jù)庫中的所述寫入數(shù)據(jù)同步至所述預(yù)設(shè)elasticsearch數(shù)據(jù)庫，包括：

利用預(yù)設(shè)映射關(guān)系，定時基于所述失敗信息將所述預(yù)設(shè)mysql數(shù)據(jù)庫中的所述寫入數(shù)據(jù)同步至所述預(yù)設(shè)elasticsearch數(shù)據(jù)庫。

可選的，所述預(yù)設(shè)mysql數(shù)據(jù)庫中包括橫表和縱表；所述橫表用于存儲系統(tǒng)默認(rèn)字段的數(shù)據(jù)，所述縱表用于存儲自定義字段的數(shù)據(jù)；所述預(yù)設(shè)elasticsearch數(shù)據(jù)庫用于存儲所述系統(tǒng)默認(rèn)字段的數(shù)據(jù)和所述自定義字段的數(shù)據(jù)。

可選的，所述方法還包括：

獲取配置信息；

基于所述配置信息在所述預(yù)設(shè)mysql數(shù)據(jù)庫和所述預(yù)設(shè)elasticsearch數(shù)據(jù)庫創(chuàng)建對應(yīng)的所述自定義字段。

可選的，所述將所述寫入數(shù)據(jù)寫入預(yù)設(shè)mysql數(shù)據(jù)庫，包括：